【大數據學習07】Hadoop中HDFS的讀寫流程

一次寫入多次讀取：

即：一個寫入者。
缺陷：
1）不能修改，只能追加。（數據已經分塊存儲，不知道在哪個塊）
2）不建議存儲小文件（hdfs將大文件分塊，默認128M。小文件獨佔一塊。）

hdfs將大文件分塊，採用分塊存儲，使用本地校驗，保證數據無損壞。

數據存儲：

虛擬磁盤(1)------->(n)元化數據
元化數據(1)------->(1)本地化磁盤映像fsiamge

hdfs結構

client 訪問 NameNode ---->DataNodes
SecondaryNameNode是Name的冷備份（幫助合併映像文件和日誌信息，不能在NN宕機後自動替換使用，但可以幫助恢復）

HDFS是主從結構

namenode：master節點，管理數據塊映射，處理客戶端讀寫請求，配置副本策略，管理目錄樹（HDFS的名稱空間）
secondaryNameNode：分擔NN的工作量，合併fsimage和fsedits併發送給NN
dataNode：存儲數據，冗餘備份，讀寫操作
fsimage：元數據鏡像文件（文件系統的目錄樹）
fsedits：元數據的操作日誌
NameNode（內存存儲） = fsimage + fsedits
secondaryNameNode：負責默認定時一小時從namenode上獲取fsimage + fsedits來合併，再發送給namenode，減少NN工作量

hdfs寫流程

secondaryNameNode合併流程