主從結構
HDFS是一個 master/slave的架構。HDFS只有一個NameNode,即master。master負責管理文件系統命名空間和client對文件的訪問。此外,HDFS有很多DataNode,通常一個機器節點一個DataNode,管理這個節點上的存儲。HDFS對外提供一個文件系統名字空間允許用戶把數據存爲文件的格式
文件按block劃分
文件拆分成若干個block,這些block存放在DataNode節點上。NameNode操作名字空間比如:打開,關閉,重命名文件目錄。DataNode負責爲文件系統的客戶提供讀/寫操作服務。DataNode同時還爲NameNode提供block創建,刪除,備份機制
NameNode只負責元數據信息,沒有數據流
NameNode維護名字空間,任何對文件系統名字空間的改動都記錄在NameNode。系統的文件組織結構和linux非常類似。你可以創建,刪除,移動,重命名文件或者目錄
轉自:http://blog.csdn.net/fiberlijun/article/details/4797489