我們最近遇到一個問題,hdfs硬盤空間不足。各位有沒有遇到類似的問題呢?
仔細分析了一下,發現hdfs下有這樣一類文件,留之無大用,棄之可惜。
比如說最原始的日誌文件........
本來留下他是用來做保險的,但是不一定能用的上,並且佔據很大空間。
想想這樣的文件該怎麼處理好呢?
於是乎 誕生了一個想法,把這一類的數據備份數改小,由3改爲2,這樣能剩下1份的空間。
用到了這個命令:hadoop fs -setrep 2 XXXX(文件名)
神器啊!!!
元芳,你覺得呢?
我們最近遇到一個問題,hdfs硬盤空間不足。各位有沒有遇到類似的問題呢?
仔細分析了一下,發現hdfs下有這樣一類文件,留之無大用,棄之可惜。
比如說最原始的日誌文件........
本來留下他是用來做保險的,但是不一定能用的上,並且佔據很大空間。
想想這樣的文件該怎麼處理好呢?
於是乎 誕生了一個想法,把這一類的數據備份數改小,由3改爲2,這樣能剩下1份的空間。
用到了這個命令:hadoop fs -setrep 2 XXXX(文件名)
神器啊!!!
元芳,你覺得呢?