Hadoop 3.x新特性

1、糾刪碼(Erasure Coding)

目的:
爲了節省HDFS存儲空間成本。

實現:
dfs.namenode.ec.system.default.policy默認使用了RS-6-3-1024k,即原6*3(副本)=18份,現在只需要6+3=9份,節省了50%的存儲空間。
具體架構和配置參數可以參考:
官方文檔
具體實現:
糾刪碼(Erasure Code)淺析

代價:
一旦數據需要恢復,會消耗大量網絡帶寬,因爲數據恢復需要去讀其他的數據塊和校驗塊;進行編碼,解碼計算也需要消耗大量CPU資源

適用場景:
對體量較大的冷數據採用EC技術,節省datanode開銷。

2、

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章