Yarn集羣規劃和搭建

一、hadoop集羣搭建

請參考前面幾篇博客，下面我們就在前面集羣的基礎上進行yarn集羣搭建。

二、規劃

	NN1	NN2	DN	ZK	ZKFC	JNN	RS	NM
node01	√				√	√
node02		√	√	√	√	√		√
node03			√	√		√	√	√
node04			√	√			√	√

三、要修改的配置文件

yarn-site.xml配置

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>//定義yarn的機制
</property>
<property>
  	<name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
  	<value>true</value>
 </property>
 <property>
    <name>yarn.resourcemanager.cluster-id</name//集羣Id
    <value>cluster1</value>
 </property>
 <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>//集羣邏輯節點
    <value>rm1,rm2</value>
 </property>
 <property>
  	 <name>yarn.resourcemanager.hostname.rm1</name>//集羣物理節點
     <value>node01</value>
 </property>
 <property>
    <name>yarn.resourcemanager.hostname.rm2</name>//集羣物理節點
     <value>node02</value>
 </property>
 <property>
    <name>yarn.resourcemanager.zk-address</name>//與zookeeper通信
    <value>node02:2181,node03:2181,node04:2181</value>
 </property>

mapred-site.xml配置

<property>       
<name>mapreduce.framework.name</name>    
<value>local</value>
</property>

四、配置免密

同樣要配置resourcemanager和nodemanager的免密，但是我們這次的配置是把resourcemanager開到了node01上，備用resourcemanager開到了node02節點上，而node01本身已經和其他節點配置過免密，所有此次不再配置。

五、啓動集羣

1，先停止集羣上開啓的進程（服務）
2，在node01節點上啓動hdfs集羣start-dfs.sh
3，在node01上啓動yarn集羣start-yarn.sh（Nodemanager也是由slaves文件來管理）
4，然後再手動啓動node01和node02上的resourcemanager
     yarn-daemon.sh start resourcemanager
5，jps檢查各個節點上進程的啓動情況

六、瀏覽器驗證

同hdfs瀏覽器端驗證相似，yarn集羣使用的端口是8088

顯示activenodes節點數爲3，證明節點搭建成功，當然這個數字也會變，要看你啓動的nodemanager個數。