hive介紹1

[轉載 夏天的森林]

我最近研究了hive的相關技術,有點心得,這裏和大家分享下。

  首先我們要知道hive到底是做什麼的。下面這幾段文字很好的描述了hive的特性:

  1.hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張數據庫表,並提供完整的sql查詢功能,可以將sql語句轉換爲MapReduce任務進行運行。其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。

  2.Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具,可以用來進行數據提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言,稱爲 HQL,它允許熟悉 SQL 的用戶查詢數據。同時,這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的複雜的分析工作。

  要理解hive,必須先理解hadoop和mapreduce,如果有不熟悉的童鞋,可以百度一下。

  使用hive的命令行接口,感覺很像操作關係數據庫,但是hive和關係數據庫還是有很大的不同,下面我就比較下hive與關係數據庫的區別,具體如下:

  1. hive和關係數據庫存儲文件的系統不同,hive使用的是hadoop的HDFS(hadoop的分佈式文件系統),關係數據庫則是服務器本地的文件系統;
  2. hive使用的計算模型是mapreduce,而關係數據庫則是自己設計的計算模型;
  3. 關係數據庫都是爲實時查詢的業務進行設計的,而hive則是爲海量數據做數據挖掘設計的,實時性很差;實時性的區別導致hive的應用場景和關係數據庫有很大的不同;
  4. Hive很容易擴展自己的存儲能力和計算能力,這個是繼承hadoop的,而關係數據庫在這個方面要比數據庫差很多。

  以上都是從宏觀的角度比較hive和關係數據庫的區別,hive和關係數據庫的異同還有很多,我在文章的後面會一一描述。

  下面我來講講hive的技術架構,大家先看下面的架構圖:

 


  由上圖可知,hadoop和mapreduce是hive架構的根基。Hive架構包括如下組件:CLI(command line interface)、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor),這些組件我可以分爲兩大類:服務端組件和客戶端組件。

   首先講講服務端組件:

  Driver組件:該組件包括Complier、Optimizer和Executor,它的作用是將我們寫的HiveQL(類SQL)語句進行解析、編譯優化,生成執行計劃,然後調用底層的mapreduce計算框架。

  Metastore組件:元數據服務組件,這個組件存儲hive的元數據,hive的元數據存儲在關係數據庫裏,hive支持的關係數據庫有derby、mysql。元數據對於hive十分重要,因此hive支持把metastore服務獨立出來,安裝到遠程的服務器集羣裏,從而解耦hive服務和metastore服務,保證hive運行的健壯性,這個方面的知識,我會在後面的metastore小節裏做詳細的講解。

  Thrift服務:thrift是facebook開發的一個軟件框架,它用來進行可擴展且跨語言的服務的開發,hive集成了該服務,能讓不同的編程語言調用hive的接口。

  客戶端組件:

  CLI:command line interface,命令行接口。

  Thrift客戶端:上面的架構圖裏沒有寫上Thrift客戶端,但是hive架構的許多客戶端接口是建立在thrift客戶端之上,包括JDBC和ODBC接口。

  WEBGUI:hive客戶端提供了一種通過網頁的方式訪問hive所提供的服務。這個接口對應hive的hwi組件(hive web interface),使用前要啓動hwi服務。

  下面我着重講講metastore組件,具體如下:

  Hive的metastore組件是hive元數據集中存放地。Metastore組件包括兩個部分:metastore服務和後臺數據的存儲。後臺數據存儲的介質就是關係數據庫,例如hive默認的嵌入式磁盤數據庫derby,還有mysql數據庫。Metastore服務是建立在後臺數據存儲介質之上,並且可以和hive服務進行交互的服務組件,默認情況下,metastore服務和hive服務是安裝在一起的,運行在同一個進程當中。我也可以把metastore服務從hive服務裏剝離出來,metastore獨立安裝在一個集羣裏,hive遠程調用metastore服務,這樣我們可以把元數據這一層放到防火牆之後,客戶端訪問hive服務,就可以連接到元數據這一層,從而提供了更好的管理性和安全保障。使用遠程的metastore服務,可以讓metastore服務和hive服務運行在不同的進程裏,這樣也保證了hive的穩定性,提升了hive服務的效率。

  Hive的執行流程如下圖所示:

圖描述的很清晰了,我這裏就不在累述了。

下面我給大家展示一個簡單的例子,看看hive是怎麼操作的。

首先我們創建一個普通的文本文件,裏面只有一行數據,該行也只存儲一個字符串,命令如下:

echo  ‘sharpxiajun’ > /home/hadoop/test.txt

 然後我們建一張hive的表:

hive –e “create table test (value string);

 接下來加載數據:

Load data local inpath ‘home/hadoop/test.txt’ overwrite into table test

 最後我們查詢下表:

hive –e ‘select from test’;

   大家看到了吧,hive十分簡單,很好入門,操作和sql很像,下面我就要深入分析下hive與關係數據庫的區別,這部分可能有些人看的不是很明白,但是很有必要提前提出,以後我的文章裏將進一步講述hive,那時不太明白的童鞋在看看這部分,很多問題就會清晰很多,具體如下:

  1. 關係數據庫裏,表的加載模式是在數據加載時候強制確定的(表的加載模式是指數據庫存儲數據的文件格式),如果加載數據時候發現加載的數據不符合模式,關係數據庫則會拒絕加載數據,這個就叫“寫時模式”,寫時模式會在數據加載時候對數據模式進行檢查校驗的操作。Hive在加載數據時候和關係數據庫不同,hive在加載數據時候不會對數據進行檢查,也不會更改被加載的數據文件,而檢查數據格式的操作是在查詢操作時候執行,這種模式叫“讀時模式”。在實際應用中,寫時模式在加載數據時候會對列進行索引,對數據進行壓縮,因此加載數據的速度很慢,但是當數據加載好了,我們去查詢數據的時候,速度很快。但是當我們的數據是非結構化,存儲模式也是未知時候,關係數據操作這種場景就麻煩多了,這時候hive就會發揮它的優勢。
  2. 關係數據庫一個重要的特點是可以對某一行或某些行的數據進行更新、刪除操作,hive不支持對某個具體行的操作,hive對數據的操作只支持覆蓋原數據和追加數據。Hive也不支持事務和索引。更新、事務和索引都是關係數據庫的特徵,這些hive都不支持,也不打算支持,原因是hive的設計是海量數據進行處理,全數據的掃描時常態,針對某些具體數據進行操作的效率是很差的,對於更新操作,hive是通過查詢將原表的數據進行轉化最後存儲在新表裏,這和傳統數據庫的更新操作有很大不同。
  3. Hive也可以在hadoop做實時查詢上做一份自己的貢獻,那就是和hbase集成,hbase可以進行快速查詢,但是hbase不支持類SQL的語句,那麼此時hive可以給hbase提供sql語法解析的外殼,可以用類sql語句操作hbase數據庫。

  今天的hive就寫到這裏,關於hive我打算一共寫三篇文章,這是第一篇,下一篇主要講hive支持的數據模型,例如:數據庫(database)、表(table)、分區(partition)和桶(bucket),還有hive文件存儲的格式,還有hive支持的數據類型。第三篇文章就會講到hiveQL的使用、以及結合mapreduce查詢優化的技術和自定義函數,以及我們現在在公司項目裏運用hive的實例。

  馬雲在退休的時候說互聯網現在進入了大數據時代,大數據是現在互聯網的趨勢,而hadoop就是大數據時代裏的核心技術,但是hadoop和mapreduce操作專業型太強,所以facebook在這些的基礎上開發了hive框架,畢竟世界上會sql的人比會java的人多的多,hive是可以說是學習hadoop相關技術的一個突破口,哪些自立於投身hadoop技術開發的童鞋們,可以先從hive開始哦。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章