大數據與人工智能入門到放棄（06 回顧篇 配置yarn高可用環境）

記：

最近任務有點多，多到天天加班

修改配置文件

搭建過程可參考hadoop官方文檔

進入hadoop目錄下中etc目錄下的hadoop目錄修改文件，如下操作，首先修改文件名，然後配置文件，此次搭建高可用的主備ResourceManager服務是在master和node2，修改文件以主機master爲例，修改完直接分發到node1和node2.

[root@master hadoop]# pwd
/opt/xige/hadoop-2.7.5/etc/hadoop

[root@master hadoop]#mv mapred-site.xml.template mapred-site.xml
[root@master hadoop]#vi mapred-site.xml

1）修改mapred-site.xml，表示mapreduce歸yarn管理，內容如下

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

2）修改yarn-site.xml，內容如下

<configuration>

<!-- Site specific YARN configuration properties -->
        <!-- 表示shuffle這個階段歸yarn來管理  -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <!-- 高可用的最低要求配置項  -->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>cluster1</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>node2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address.rm1</name>
                <value>master:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address.rm2</name>
                <value>node2:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>master:2181,node1:2181,node2:2181</value>
        </property>

</configuration>

3）將mapred-site.xml和yarn-site.xml配置文件分發給node1和node2

4）做免密登錄，之前只做了master免密登錄到node1和node2，這次要做node2免密登錄到master，這裏的操作直接去參考之前的章節就行了

啓動驗證

明確啓動順序命令如下：

在master，node1，node2機器下啓動zookeeper
zkServer.sh start

在master輸入一下命令，分別是啓動hdfs和yarn
start-all.sh

resourcemanager要手動啓動
在我們剛剛配置的master和node2上啓動,在這兩臺機器上輸入以下命令：
yarn-daemon.sh start resourcemanager