hadoop中各組件的作用

Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…

 

1.HDFS:分佈式文件系統，隱藏集羣細節，可以看做一塊兒超大硬盤

         主：namenode,secondarynamenode

         從：datanode

 

2.Yarn:分佈式資源管理系統，用於同一管理集羣中的資源（內存等）

         主：ResourceManager

         從：NodeManager

 

3.MapReduce:Hadoop的編程框架，用map和reduce方式實現分佈式程序設計，類似於Spring。

 

4.Pig:基於hadoop的一門數據處理語言，類似於python等編程語言

 

5.Zookeeper：分佈式協調服務，用於維護集羣配置的一致性、任務提交的事物性、集羣中服務的地址管理、集羣管理等

         主：QuorumPeerMain

         從：QuorumPeerMain

 

6.Hbase:Hadoop下的分佈式數據庫，類似於NoSQL

         主：HRegionserver,HMaster,HPeerMain(在使用zookeeper作爲協調時沒有此進程)

7.Hive:分佈式數據倉庫，讓開發人員可以像使用SQL一樣使用MR。

8.Scoop:用於將傳統數據庫中數據導入到hbase中一個導入工具

9.Spark:基於內存的分佈式處理框架

         主：Mater

         從：worker
 
原文：https://blog.csdn.net/u012155582/article/details/52163849