- HDFS
HDFS官網http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html - HDFS架構(HBase和YARN都是這種架構)
1個Master帶N個Slaves,Master就是NameNode(NN),Slaves就是DataNode(DN)
1個文件會被拆分成多個Block
blocksize:128M
130M=>2個block,一個128M，一個2M - NN：
1）負責客戶端請求的響應
2）負責元數據（文件的名稱和副本系數，Block存放的DN）的管理 - DN：
1）存放數據塊
2）負責向DN發送心跳信息，彙報本身及其所有的block信息，健康狀況
典型的架構是一臺機器運行一個NameNode,集羣裏面的其他機器都會運行一個DataNodes
建議：NN和DN部署在不同的節點上
- 架構圖
- HDFS特性：
- 支持傳統的層級文件創建及存儲
- 對於文件的任何操作都會被NameNode記錄下來
- 應用程序能夠指定副本的係數是多少
- 任意時間內都只能有一次寫操作