Hadoop服務器間數據均衡

在企業開發中,如果經常在hadoop102hadoop104上提交任務,且副本數爲2,由於數據本地性原則,就會導致hadoop102hadoop104數據過多,hadoop103存儲的數據量小。

另一種情況,就是新服役的服務器數據量比較少,需要執行集羣均衡命令。

開啓數據均衡命令:

[lytfly@hadoop105 hadoop-3.1.4]$ sbin/start-balancer.sh -threshold 10

對於參數10,代表的是集羣中各個節點的磁盤空間利用率相差不超過10%,可根據實際情況進行調整。

停止數據均衡命令:

[lytfly@hadoop105 hadoop-3.1.4]$ sbin/stop-balancer.sh

注意:由於HDFS需要啓動單獨的Rebalance Server來執行Rebalance操作,所以儘量不要在NameNode上執行start-balancer.sh,而是找一臺比較空閒的機器。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章