Hadoop 添加節點和刪除節點

一。增加節點
1.解壓hadoop程序，並把namnode的配置文件複製到配置文件目錄下
2.修改namenode的slaves文件增加該節點
3.在該節點對ssh,hosts，jdk 進行配置，並修改所有節點的/etc/hosts增加該節點映射
4.在該節點啓動Datanode和Nodemanager

   $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
   $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

注：如果新增加的節點是之前安裝過Hadoop的 最好刪除原來的datanode數據 或者配置新的目錄dfs.datanode.data.dir ，否則會啓動報錯
二.刪除節點
1、配置NameNode的hdfs-site.xml，適當減小dfs.replication副本數，增加dfs.hosts.exclude配置

 <property>
    <name>dfs.hosts.exclude</name>
    <value>/data/hadoop1/hadoop2.7.2/etc/hadoop/excludes</value>
  </property>

2.在對應路徑/data/hadoop1/hadoop2.7.2/etc/hadoop/下新建excludes文件保存要刪除的ip
3.在NameNode上刷新所有DataNode

$HADOOP_HOME/bin/hdfs dfsadmin -refreshNodes

在不改變dfs.replication 副本數的情況時，查看namenode日誌 可以發現 hdfs在自動同步數據以補全副本
在不改變dfs.replication 副本數的情況時，直接使用$HADOOP_HOME/sbin/hadoop-daemon.sh stop datanode 也可以

不過第一種更優雅一些，因爲經觀察第一種的退役是程序主動進行的 在數據同步過程中DataNode節點仍在運行而第二種則是被動退役這裏寫代碼片