第三講:分佈式文件系統HDFS
- 3.1 分佈式文件系統
- 3.2 HDFS簡介
- 3.3 HDFS相關概念
- 3.4 HDFS體系結構
- 3.5 HDFS存儲原理
- 3.6 HDFS數據讀寫過程
- 3.7 HDFS編程實踐
分佈式存儲+分佈式處理
實時性不高,海量流數據,不適合大規模小文件存儲,不支持多用戶寫入及修改文件,不支持多用戶寫入及修改
3.3 HDFS相關概念
塊
個塊64MB,一個文件被分成多個塊,以塊作爲存儲單位 塊的大小遠遠大於普通文件系統,可以最小化尋址開銷
主節點爲名稱節點 ,塊被保存在linux系統上
名稱節點啓動的時候怎樣處理這兩大數據結構的?
第二名稱節點:
對Editlog的處理
每個數據都會產生3個備份