大數據框架-----3.11----2

第三講:分佈式文件系統HDFS

  •  3.1 分佈式文件系統
  • 3.2 HDFS簡介
  • 3.3 HDFS相關概念
  • 3.4 HDFS體系結構
  • 3.5 HDFS存儲原理
  • 3.6 HDFS數據讀寫過程
  • 3.7    HDFS編程實踐

分佈式存儲+分佈式處理 

實時性不高,海量流數據,不適合大規模小文件存儲,不支持多用戶寫入及修改文件,不支持多用戶寫入及修改

 3.3 HDFS相關概念

塊 

個塊64MB,一個文件被分成多個塊,以塊作爲存儲單位 塊的大小遠遠大於普通文件系統,可以最小化尋址開銷

主節點爲名稱節點 ,塊被保存在linux系統上

 

名稱節點啓動的時候怎樣處理這兩大數據結構的?

第二名稱節點:

對Editlog的處理 

每個數據都會產生3個備份

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章