【大數據學習03】Hadoop中配置HDFS集羣

現在有
192.168.247.101 dtinone101
192.168.247.102 dtinone102
192.168.247.103 dtinone103

101 作爲 NN
101，102，103作爲 DN
102 作爲 101 的2NN

1. 添加101 102 103的DNS解析

   vim /etc/hosts
   192.168.247.101 dtinone101
   192.168.247.102 dtinone102
   192.168.247.103 dtinone103
   

2. 修改101的slaves

   vim slaves
   dtinone101
   dtinone102
   dtinone103
   

3. 設置101，102，103的2NN文件存儲地址

   vim hdfs-site.xml
   <configuration>
    <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>dtinone102:50090</value>
    </property>
   </configuration>
   

4. 設置DN註冊位置（101 102 103都要設置）和數據存儲位置

   vim  /usr/local/apps/hadoop-2.7.7/etc/hadoop/core-site.xml 
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://dtinone101:8020</value>
    </property>
    <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/apps/hadoop-2.7.7/data</value>
    </property>
    //註冊到101 前提：101 102 103 vim /etc/hosts都設置dtinone101的DNS解析
   

5. SSH配置免密
   羣啓是RPC 發送htp請求 來啓動的
   所以要設置免密。

   ssh-keygen //回車
   

   ssh-copy-id dtinone101
   ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
   //ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub [email protected]
   ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
   //ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub [email protected]
   

6. 刪除所有的data，然後NN初始化namenode

   cd /usr/local/apps/hadoop-2.7.7
   hadoop namenode -format
   

7. 運行羣啓

   cd /usr/local/apps/hadoop-2.7.7/sbin/
   ./start-dfs.sh 
   

8. webUI檢查NN,DN是否都啓動成功，並註冊成功

   192.168.247.101:50070
   

9. 啓動成功但是註冊不成功處理：

   檢查101下查看NN的ID
   cd /usr/local/apps/hadoop-2.7.7/data/dfs/name/current
   cat VERSION
   

檢查所有DN的ID
cd /usr/local/apps/hadoop-2.7.7/data/dfs/data/current
cat VERSION

101DN：

102DN：

103DN:

所有的datanode中的datanodeUuid必須不一致

所有的datanode中的clusterID必須一致

且和NN中的集羣ID相同