1、糾刪碼(Erasure Coding)
目的:
爲了節省HDFS存儲空間成本。
實現:
dfs.namenode.ec.system.default.policy
默認使用了RS-6-3-1024k
,即原6*3(副本)=18份,現在只需要6+3=9份,節省了50%的存儲空間。
具體架構和配置參數可以參考:
官方文檔
具體實現:
糾刪碼(Erasure Code)淺析
代價:
一旦數據需要恢復,會消耗大量網絡帶寬,因爲數據恢復需要去讀其他的數據塊和校驗塊;進行編碼,解碼計算也需要消耗大量CPU資源
適用場景:
對體量較大的冷數據採用EC技術,節省datanode開銷。
2、