hadoop全分佈式集羣搭建（小白從零到起飛）最詳細！

所需工具 vmware15 Centos6.5 xhell xftp notepad++

企鵝號：1550213743
微博：Nym_車釐子
1.建好虛擬機後點擊編輯-虛擬網絡編輯器Vmnet8觀察子網IP，一定要記住192.168.xxx後面有用
2.修改虛擬機ip 步驟：1右上角右鍵電腦圖標 2.edit修改system eth0 選擇ipv4手動修改添加
192.168.xxx.xxx.（這裏和上面查到的對應 xxx自己隨意添加）

3.打開命令窗口 ping baidu.com
4.接下來打開xhell，xftp 進行連接（如果不懂怎麼連接自行百度）.創建software和 module文件夾，修改權限，將hadoop ，jdk包傳入剛剛創建好的software。解壓到module文件下

4.解壓

5.配置jdk文件

6.進入後在最下邊添加這兩行（路徑和我保持一致）
查路徑方法 進入到jdk1.7.0—67下 pwd查詢
7.查詢多餘jdk 刪除，關防火牆（查看狀態）

8.修改開機自動關閉，改爲disabled 保存退出

9.reboot重啓
10.vi /etc/sysconfig/network-scripts/ifcfg-eth0（開機自動聯網修改），進入後修改爲static 保存退出 service network restart 重新啓動 然後關閉虛擬機

11.選擇克隆-完整克隆2臺，克隆後將ip全部修改192.168.xxx.xxx，分別不同
修改主機名稱 （自定義）並查看

vi /etc/sysconfig/network

cat /etc/hosts

12. 修改網卡
mv /etc/sysconfig/network-scripts/ifcfg-Auto_eth1 /etc/sysconfig/network-scripts/ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth0 none改成 static
兩條命令輸完 將none改成static
service network restart 網絡重啓
reboot 重啓虛擬機
13. vi /etc/ssh/sshd_config
進入後：set number
把 47.48.49#刪除
14.免密登錄 ssh-keygen -t rsa 敲三下回車
14. 將master服務器上/root/.ssh/目錄下的authorized_keys、known_hosts複製到slave服務器的/root/.ssh目錄中

15 刪除兩個節點下的hadoop
16 vim ~/.bash_profile 進入增加幾行

配置成功

17.在根目錄下創建一個文件夾，把做好的hadoop整體移動到、/home/hadoop/
18.開始配置文件，先刪除原始temp文件
19.打開notepad++，進行連接[notepad++安裝地址]下載地址

20分別打開配置文件進行配置
分別對應前四個粘貼進去 master改成你的主機名

 <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
    <property>
         <name>io.file.buffer.size</name>
         <value>131702</value>
     </property>
 </configuration>

master改成你的主機名

 <configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
     <property>
         <name>dfs.permissions.enable</name>
         <value>false</value>
     </property>
     <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>master:9001</value>
     </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
 </configuration>

master改成你的主機名

 <configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
     <property>
         <name>mapreduce.jobhistory.address</name>
         <value>master:10020</value>
     </property>
 </configuration>

master改成你的主機名

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
     </property>
 </configuration>

這三個分別添加jdk路徑
export JAVA_HOME=/opt/module/jdk1.7.0_67
都改好之後保存退出
在主節點上覆制到其他兩個分節點
scp -r /home/hadoop xyj1:/home/
scp -r /home/hadoop xyj2:/home/

啓動 ok