如何動態地向hadoop集羣添加一個新節點

1.將namenode的hadoop文件全部複製到新節點。

2.修改每個節點的hosts文件,將節點四的名字加入進去。

3.配置ssh免密登錄,使得namenode登錄新節點的時候不需要輸入密碼。

4.修改各節點的slaves文件,加入新節點的名稱。

5.單獨啓動該節點上的Datanode進程和NodeManager進程。

     hadoop-daemon.sh start datanode

     yarn-daemon.sh start nodemanager

 

之後再去web ui上去看看,是否添加成功。
 

因爲添加了新節點之後,其實整個集羣的負載均衡機制是偏斜了的,因爲你的新節點完全沒有數據存在,所以這個時候應該

執行一下,start-balancer.sh,重新平衡一下各個節點上數據塊的分佈

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章