HDFS 聯邦（Federation）個人理解

NameNode單點存在以下兩個問題

1. 單點故障—HA解決
2. 壓力大—Federation解決

1：聯邦機制架構

解決了HDFS單節點如下問題
1.namespace命名空間限制
namenode把所有元數據存儲在內存中，單個namenode所能存儲的對象（文件+塊）有限制
2.性能瓶頸（吞吐量）
整個hdfs文件系統的吞吐量受限於單個namenode的吞吐量
3.隔離問題
無法隔離應用程序，一個實驗程序，可能影響整個集羣
4.單點故障

簡而言之就是

• NN的壓力過大，內存受限
• 元數據進行分治，複用DN存儲
• 元數據訪問隔離性
• DN目錄隔離了block
  
  個人理解是支撐起了平臺
  舉個例子，聯邦制首先想到的是USA
  一個國家，多個州，每個州有對應的憲法
  一個國家代表平臺，州代表NN，每個州對應的憲法對應DN上的data.dir
  支持不同文件存儲在不同NN對應的同DN裏面的不同dir（很繞口哈哈）
  最終向外分裝成一個很牛的文件系統平臺，別人不知道底層，只有自己知道

拓展
HDFS Federation的不足
HDFS Federation並沒有完全解決單點故障問題。雖然namenode/namespace存在多個，但對於單個namenode來說，仍然存在單點故障。
如果某個namenode掛掉了，其管理的相應文件便不可以訪問。
Federation中每個namenode仍然像之前一樣，配有一個secondary namenode，以便主namenode掛掉後，用於還原元數據信息