大數據各類服務組件架構筆記

1 Hadoop

Hadoop是Apache軟件基金會旗下的開源分佈式存儲 計算 平臺，它以HDFS（Hadoop Distributed File System）和MapReduce爲核心，爲用戶提供了系統底層細節透明的分佈式基礎架構。

下圖是Hadoop生態應用場景：

1.1 HDFS

1.1.1 架構

1.1.2 節點

HDFS集羣由NameNode和DataNode組成，NameNode管理文件系統的元數據，DataNode存儲實際的數據。

客戶端聯繫NameNode獲取文件的元數據，而真正的文件I/O操作直接和DataNode進行交互。

• NameNode：