Hadoop的冷備、熱備

冷備份: Hadoop1.X :NameNode(主) SecondaryNameNode(從)
在Hadoop1.X中,SecondaryNameNode會按照時間閾值(比如24小時)或者edits日誌大小閾值(比如1G),週期性的將fsimage和edits合併成新的fsimage並替換,然後將最新的fsimage推送給NameNode,減少 NameNode 啓動時間;
非實時merge,一旦NameNode掛了,可能會導致元數據丟失;
熱備份: Hadoop2.X:Active NameNode(主) Standby NameNode(從)
在Hadoop2.X中採用主從架構,這個動作是由Standby NameNode來完成;一旦Active NameNode掛掉,Standby NameNode會實時同步前者的fsimage,並將merge後的新fsimage文件替換前者中舊的fsimage文件;
實時merge,一旦前者掛了,後者能夠馬上頂上,不會出現元數據丟失;
熱備的切換,需要zookeeper的協助,具體步驟參考:https://blog.csdn.net/jiweiwong/article/details/51774879?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

fsimage文件:是HDFS文件系統存於硬盤中的元數據檢查點(即全量),裏面記錄了自最後一次檢查點之前HDFS文件系統中所有目錄和文件的序列化信息;
edits log文件:保存了自最後一次檢查點之後所有針對HDFS文件系統的操作(即增量),比如:增加文件、重命名文件、刪除目錄等等。

在NameNode啓動時候,會先將fsimage中的文件系統元數據信息加載到內存,然後根據eidts中的記錄將內存中的元數據同步至最新狀態;所以,這兩個文件一旦損壞或丟失,將導致整個HDFS文件系統不可用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章