HDFS分佈式系統基礎

1.數據塊

數據塊是HDFS默認的最基本存儲單位，默認塊大小是64MB,HDFS中的文件是分成數據塊存儲的，如果一個文件小於一個數據塊大小，並不佔用整個塊的存儲空間，文件是多大就佔多少空間。

2.元數據節點(NameNode)

NameNode的職責是管理文件系統的命名空間，所有的文件和文件夾元數據保存在一個文件系統樹中，如一個文件保存在那些數據塊，分佈在那些節點上等(這些信息存儲在hdfs-site.xml中配置中設置的NameNode原信息存儲位置)，Version文件存放版本信息文件，保存了HDFS的版本號，edit :在客戶端進行寫操作時的修改日誌，fsimage文件：文件命名空間文件。

3.數據節點(DataNode)

DataNode的是文件系統真正存儲數據的地方，一個文件被拆分成多個Block後，會將這些Block存儲在對應的數據節點上。客戶端NameNode發起請求，然後到對應的數據節點上寫入或讀出對應數據Block。

4.從元數據節點(SecondaryNameNode)

SecondaryNameNode並不是NameNode的備用節點，他和元數據節點分別負責不同的功能，其中最主要的功能是將NameNode的namespace image和edit log 合併，以防止日誌文件過大，合併後的文件也會在元數據數據節點保存一份以防NameNode失效進行恢復，此爲還有一個重要的工作，幫助NameNode將內存中的元數據信息備份到硬盤上。

大佬的詳細解釋鏈接https://blog.csdn.net/jenrey/article/details/80738389