Hadoop集羣 之《完全分佈集羣搭建》

版本

hadoop hadoop-2.7.1_64bit.tar.gz
jdk jdk-8u144-linux-x64.tar.gz

1、以三臺虛擬機爲例

2、三臺虛擬機的 ip地址， 修改ip地址的路徑： /etc/sysconfig/network-scripts

                           主機名（vim /etc/hostname）各不相同，

3、vim /etc/hosts，在三個連接（node132,node133,node134）裏面設置要關聯的三個連接ip和連接主機名，只有這個設置之後才能在三個之間互相跳轉

4、在第三步編輯hosts基礎上，再在每個裏面設置ssh免密，並且通過當前的連接設置其他兩個的免密，並且在當前連接裏面能夠免密登錄其他兩個虛擬機（三個之間可以互通）；注意每次用ssh跳轉之後需要用exit退出來再進行其他操作

5、pseudo是僞分佈的配置 full是全分佈的配置

pseudo僞分佈裏面需要配置（七個文件）
hadoop-env.sh
yarn-env.sh
mapredenv.sh
(sh後綴的都是配置JAVA_HOME路徑的)

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
(xml後綴的是配置主機名的)

hadoop完全分佈 相比較 僞分佈裏面需要配置
core-site.xml（不修改）
hdfs-site.xml（修改副本數量，當前是以三臺爲例的所以設置爲3）
mapred-site.xml（指定在yarn上運行，所以不需要修改）

yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop03</value>
	</property> 
	<property>  
        <name>yarn.resourcemanager.address</name>  
        <value>hadoop03:8032</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>hadoop03:8030</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>hadoop03:8031</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>hadoop03:8033</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>hadoop03:8088</value>  
    </property> 
	<property>  
		<name>yarn.log-aggregation-enable</name>  
		<value>true</value>  
	</property> 	
</configuration>

slaves（裏面寫分佈式集羣裏面有哪些節點(節點就是三臺主機的名稱)，例：node132,node133,node134）

6、用SCP將full配置的複製到桌面，然後再把full通過xsync複製到其他兩個虛擬機中並把 full名字改成hadoop（將其他兩個刪除掉，然後在把full複製進去）

7、將三個裏面的logs和tmp都刪除掉，再重新建logs和tmp文件夾

8、重新格式化進行啓動