HDFS3.x新特性之磁盤均衡器Disk Balancer

磁盤均衡器(diskbalancer)

單個datanode上利用磁盤均衡器特性,對節點內部硬盤進行數據存儲的均衡管理。解決原來硬盤數據存儲不均衡導致的部分硬盤空閒或部分硬盤出現性能瓶頸的問題。此磁盤均衡器是在同一個DataNode中的不同磁盤之間移動數據,而之前的HDFS均衡器是在不同的DataNode之間移動數據。磁盤平衡器任務涉及三個步驟(通過HDFS的diskbalancer 命令):plan, execute 和 query。

第一步plan
HDFS客戶端從NameNode上讀取指定DataNode的的必要信息以生成執行計劃;磁盤平衡執行計劃生成的文件內容格式是Json的,並且存儲在HDFS之上。在默認情況下,這些文件是存儲在 /system/diskbalancer 目錄下面;

第二步excute
通過命令$ hdfs diskbalancer -execute /system/diskbalancer/2019-May-12-21-03-56/192 .168.233.121.plan.json在DataNode上執行這個生成的計劃。這個命令將JSON裏面的計劃提交給DataNode,而DataNode會啓動一個名爲BlockMover的線程中執行這個計劃。

第三步query
我們可以使用 query 命令來查詢DataNode上diskbalancer任務的狀態:hdfs diskbalancer -query lei-dn-3:20001查詢結果爲Result: PLAN_DONE則標誌均衡完成

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章