Hive與傳統數據庫的比較

1、Hive是什麼?

基於Hadoop的開源的數據倉庫工具,用於處理海量結構化數據。
Hive把HDFS中結構化的數據映射成表。
Hive通過把HiveSQL進行解析和轉換,最終生成一系列在hadoop上運行的mapreduce任務,通過執行這些任務完成數據分析與處理。

由於Hive採用了SQL的查詢語言HQL,因此很容易將Hive理解爲數據庫。其實從結構上來看,Hive和數據庫除了擁有類似的查詢語言,再無類似之處。

2、Hive與傳統數據庫的比較

在這裏插入圖片描述
說明:

  1. 數據倉庫/數據湖主要是用來數據分析的,對企業中的決策起到關鍵性
    的作用。
  2. 數據倉庫本身不產生數據,也不消耗數據;其數據是從外部來的,並且
    主要提供給外部使用。
  3. 數據倉庫是面向主題性來構建的,一般一個數倉都有一個特定的目的。
  4. 數據倉庫集成了衆多類型的數據,分成了許多不同的層次。
  5. 數據倉庫中的歷史數據一般不會改變,因爲其主要用來記錄已經發生的
    事實的數據。
  6. 數據倉庫上層的分析是可能會發生變化的,體現了分析的靈活性。
  7. 面向事務的聯機事務處理OLTP vs 面向分析的聯機分析處理OLAP。

1.查詢語言
由於 SQL被廣泛的應用在數據倉庫中,因此,專門針對 Hive的特性設計了類 SQL的查詢語言 HQL。

2.數據存儲位置
Hive 是建立在 Hadoop之上的,所有 Hive的數據都是存儲在 HDFS中的。
數據庫則可以將數據保存在塊設備或者本地文件系統中。

3.數據格式
Hive 中沒有定義專門的數據格式,數據格式可以由用戶指定,用戶定義數據格式需要指定三個屬性:列分隔符(通常爲空格、”\t”、”\x001″)、行分隔符(”\n”)以及讀取文件數據的方法(Hive中默認有三個文件格式 TextFile,SequenceFile以及 RCFile)。

4.數據更新
由於 Hive是針對數據倉庫應用設計的,而數據倉庫的內容是讀多寫少的。因此,Hive中不支持對數據的改寫和添加,所有的數據都是在加載的時候中確定好的。
數據庫中的數據通常是需要經常進行修改的,因此可以使用 INSERT INTO … VALUES添加數據,使用 UPDATE … SET修改數據。

5.索引
Hive要訪問數據中滿足條件的特定值時,需要暴力掃描整個數據,因此訪問延遲較高。由於 MapReduce的引入, Hive可以並行訪問數據,因此即使沒有索引,對於大數據量的訪問,Hive仍然可以體現出優勢。
數據庫中,通常會針對一個或者幾個列建立索引,因此對於少量的特定條件的數據的訪問,數據庫可以有很高的效率,較低的延遲。由於數據的訪問延遲較高,決定了 Hive不適合在線數據查詢。

6.執行
Hive 中大多數查詢的執行是通過 Hadoop提供的 MapReduce來實現的(類似 select * from tbl的查詢不需要 MapReduce)。
數據庫通常有自己的執行引擎。

7.執行延遲
之前提到,Hive在查詢數據的時候,由於沒有索引,需要掃描整個表,因此延遲較高。另外一個導致 Hive執行延遲高的因素是 MapReduce框架。由於 MapReduce本身具有較高的延遲,因此在利用 MapReduce執行 Hive 查詢時,也會有較高的延遲。相對的,數據庫的執行延遲較低。當然,這個低是有條件的,即數據規模較小,當數據規模大到超過數據庫的處理能力的時候,Hive的並行計算顯然能體現出優勢。

8.可擴展性
由於 Hive是建立在 Hadoop之上的,因此 Hive的可擴展性是和 Hadoop的可擴展性是一致的。
數據庫由於 ACID語義的嚴格限制,擴展行非常有限。目前最先進的並行數據庫 Oracle在理論上的擴展能力也只有 100臺左右。

9.數據規模
由於Hive建立在集羣上並可以利用 MapReduce進行並行計算,因此可以支持很大規模的數據;
數據庫可以支持的數據規模較小。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章