在企業開發中,如果經常在hadoop102和hadoop104上提交任務,且副本數爲2,由於數據本地性原則,就會導致hadoop102和hadoop104數據過多,hadoop103存儲的數據量小。
另一種情況,就是新服役的服務器數據量比較少,需要執行集羣均衡命令。
開啓數據均衡命令:
[lytfly@hadoop105 hadoop-3.1.4]$ sbin/start-balancer.sh -threshold 10
對於參數10,代表的是集羣中各個節點的磁盤空間利用率相差不超過10%,可根據實際情況進行調整。
停止數據均衡命令:
[lytfly@hadoop105 hadoop-3.1.4]$ sbin/stop-balancer.sh
注意:由於HDFS需要啓動單獨的Rebalance Server來執行Rebalance操作,所以儘量不要在NameNode上執行start-balancer.sh,而是找一臺比較空閒的機器。