hadoop學習筆記

Hadoop master/slave模式

hadoop的集羣是基於master/slave模式,namenode和jobtracker屬於master,datanode和tasktracker屬於slave,master只有一個,而slave有多個。

·分佈式存儲(hdfs)角度:集羣中的節點由一個namenode和多個datanode組成。namenode是中心服務器,負責管理文件系統的名字空間(namespace)以及客戶端對文件的訪問。集羣中的datanode一般是一個節點一個,負責管理它所在節點上的存儲。HDFS暴露了文件系統的名字空間,用戶能夠以文件的形式在上面存儲數據。從內部看,一個文件其實被分成一個或多個數據庫,這些塊存儲在一組datanode上。namenode執行文件系統的名字空間操作,比如打開、關閉、重命名文件或目錄。它也負責確定數據塊到具體datanode節點的映射。datanode負責處理文件系統客戶端的讀寫請求。在namenode的統一調度下進行數據塊的創建、刪除和複製。
·分佈式應用(mapreduce)角度:集羣中的節點有一個jobtracker和多個tasktracker組成。jobtracker負責任務的調度,tasktracker負責並行執行任務。tasktracker必須運行在datanode上,這樣便於數據的本地計算,而jobtracker和namenode則必須在同一臺機器上。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章