Hadoop的組成部分

Hadoop的組成部分有:

1. HDFS: 海量數據的存儲系統

2. Map Reduce: 海量數據的計算系統（計算框架）

3. YARN: 集羣資源管理（調度）的框架。

   HDFS
   管理者：NameNode
   作用：負責管理，管理集羣內各個節點。

   1. 維護管理文件系統的元數據（指的是數據的存放位置或存放路徑）或名字空間
   2. 負責確定指定的文件塊到具體的Datanode結點的映射關係。
   3. 維護管理 DataNode上報的心跳信息

   輔助管理者：SecondaryNameNode
   作用：責輔助NameNode管理工作。

   工作者：DataNode
   作用：負責工作，進行讀寫數據。 週期向NameNode彙報。
   (1) 執行數據的讀寫（響應的是客戶端）
   (2) 週期性向NameNode做彙報（數據塊的信息、校驗和）
   若datanode 10分鐘沒有向NameNode做彙報，表示已丟失（已宕機）
   心跳週期 3秒
   (3) 執行流水線的複製（將一份大數據切成若干份,一份一份的複製到三個節點,複製完一份下一份纔開始複製）
   

   MapReduce

   1. 是一個基於集羣的高性能並行計算平臺
   2. 是一個並行計算與運行軟件框架
   3. 是一個並行程序設計模型與方法

   Yarn
   管理者：ResourceManager
   工作者：NodeManager