Hadoop 的子項目
Hadoop最出名的是 MapReduce及其分佈式文件系統(HDFS),但還有其他子項目提供配套服務,其他子項目提供補充性服務。
這些子項目的簡要描述如下。
Pig
一種數據流語言和運行環境,用以檢索非常大的數據集。Pig運行在MapReduce和HDFS的集羣上。
Hbase
一個分佈式的、列存儲數據庫。HBase使用HDFS作爲底層存儲,同時支持MapReduce的批量式計算和點查詢(隨機讀取)。
ZooKeeper
一個分佈式的、高可用性的協調服務。Zookeeper提供分佈式鎖之類的基本服務用於構建分佈式應用。
Hive
分佈式數據倉庫。Hive管理HDFS中存儲的數據,並提供基於SQL的查詢語言(由運行時引擎翻譯成ManReduce作業)用以查詢數據。
Chukwa
分佈式數據收集和分析系統。Chukwa運行HDFS中存儲數據的收集器,它使用MapReduce來生成報告。