巧用備份數節省hdfs空間

我們最近遇到一個問題,hdfs硬盤空間不足。各位有沒有遇到類似的問題呢?

仔細分析了一下,發現hdfs下有這樣一類文件,留之無大用,棄之可惜。

比如說最原始的日誌文件........

本來留下他是用來做保險的,但是不一定能用的上,並且佔據很大空間。

想想這樣的文件該怎麼處理好呢?

於是乎 誕生了一個想法,把這一類的數據備份數改小,由3改爲2,這樣能剩下1份的空間。

用到了這個命令:hadoop fs -setrep 2 XXXX(文件名)

神器啊!!!

元芳,你覺得呢?

發佈了25 篇原創文章 · 獲贊 21 · 訪問量 16萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章