從入門到放棄之大數據Hive

開門見山,今天說說Hive!!!

什麼是Hive

Hive:由Facebook開源用於解決海量結構化日誌的數據統計。 

Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張表,並提供類SQL查詢功能。

本質是:將HQL轉化成MapReduce程序 

1)Hive處理的數據存儲在HDFS 

2)Hive分析數據底層的實現是MapReduce 

3)執行程序運行在YARN上

爲什麼使用Hive

1)直接使用hadoop所面臨的問題 

(1)人員學習成本太高 

(2)項目週期要求太短 

(3)MapReduce實現複雜查詢邏輯開發難度太大

2)Hive的好處 

(1)操作接口採用類SQL語法,提供快速開發的能力。 

(2)避免了去寫MapReduce,減少開發人員的學習成本。 

(3)擴展功能很方便。

Hive架構概述

 

上圖中,Hive通過給用戶提供的一系列交互接口,接收到用戶的指令(SQL),使用自己的Driver,結合元數據(MetaStore),將這些指令翻譯成MapReduce,提交到Hadoop中執行,最後,將執行返回的結果輸出到用戶交互接口。

Hive 的特點

1)操作接口採用類SQL語法,提供快速開發的能力(簡單、容易上手) 

2)避免了去寫MapReduce,減少開發人員的學習成本。 

3)Hive的執行延遲比較高,因此hive常用於數據分析,對實時性要求不高的場合; 

4)Hive優勢在於處理大數據,對於處理小數據沒有優勢,因爲Hive的執行延遲比較高。 

5)Hive支持用戶自定義函數,用戶可以根據自己的需求來實現自己的函數。

Hive和數據庫比較

由於 Hive 採用了類似SQL 的查詢語言 HQL(hive query language),因此很容易將 Hive 理解爲數據庫。其實從結構上來看,Hive 和數據庫除了擁有類似的查詢語言,再無類似之處。本文將從多個方面來闡述 Hive 和數據庫的差異。數據庫可以用在 Online 的應用中,但是Hive 是爲數據倉庫而設計的,清楚這一點,有助於從應用角度理解 Hive 的特性。

牛!曉誠之家非常推薦這款大數據的僞SQL的查詢工具!方便快捷!

推薦指數:5

感謝大家的支持!雅俗共賞!

【大數據開發學習資料領取方式】:加入大數據技術學習交流羣,點擊加入羣聊,私信管理員即可免費領取

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章