Hadoop集羣如何動態的增刪節點

環境：

    集羣環境是CentOS6；Hadoop版本爲2.7.3

一、增加節點

    1.配置主節點和新增節點的免密登錄（ssh信任）

    2.將新的節點的ip（如果在主節點的/etc/hosts中配置了名字也可以用名字替代）加入到Hadoop配置文件中slave文件中

    3.將主節點的Hadoop目錄（如果tmp目錄不再Hadoop中，需要再把tmp文件複製到新增節點的對應目錄中）發送到新增節點中

    4.在新增節點中執行以下代碼

sbin>hadoop-daemon.sh start datanode

sbin>yarn-daemon.sh start datanode

    5.在主節點中執行以下代碼

bin>hdfs dfsadmin -refreshNodes

sbin>start-balacer.sh

二、刪除節點

    1.不超過三個節點可以直接考慮停掉要刪除的集羣

    2.否則進行下面操作

        1)在主節點上更改副本的配置文件（hdfs-site.xml）,適當減小

        2)在hdfs-site.xml中新加一個配置

<property>

<name>dfs.hosts.exclude</name>

<value>x/xx/xxx/excludes</value>

</property>

        3)在配置的路徑下新建一個excludes文件，寫入你所有要刪除的ip（hosts的名字也行）

        4)在主節點上執行以下代碼

bin>hdfs dfsadmin -refreshNodes

sbin>start-balancer.sh