hadoop整體結構圖及服務組件詳解

hadoop服務組件簡單解釋
1、core  分佈式系統和通用IO組件和接口(序列化、java遠程調用等等服務)
2、avro  支持跨語言過程調用,持久數據存儲的數據序列化系統
3、MapReduce  構建在廉價的pc機器上分佈式數據處理模型和運行環境
4、hdfs  構建廉價的pc機器上分佈式文件系統
5、pig  處理海量數據集的數據流語言和運行環境 ,pig運行在HDFS和MapReduce之上
6、HBase  分佈式面向列的數據庫 ,HBase使用HDFS作爲底層存儲, 同時使用MapReduce支持批處理模式的計算機和隨機查詢
7、 Zookeeper  提供分佈式、高效的協作服務以及分佈式鎖這樣的原子操作、可以用來構建分佈式應用
8、hive  分佈式數據倉庫 、 Hive使用Hdfs存儲數據,提供類似sql的語句(轉換爲MapReduce任務) 查詢數據
9、chukwa  分佈式數據採集和分析系統  、 使用HDFS 存儲數據 、 使用MapReduce輸出分析報告

發佈了46 篇原創文章 · 獲贊 9 · 訪問量 3萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章