Yarn集群规划和搭建

一、hadoop集群搭建

请参考前面几篇博客，下面我们就在前面集群的基础上进行yarn集群搭建。

二、规划

	NN1	NN2	DN	ZK	ZKFC	JNN	RS	NM
node01	√				√	√
node02		√	√	√	√	√		√
node03			√	√		√	√	√
node04			√	√			√	√

三、要修改的配置文件

yarn-site.xml配置

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>//定义yarn的机制
</property>
<property>
  	<name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
  	<value>true</value>
 </property>
 <property>
    <name>yarn.resourcemanager.cluster-id</name//集群Id
    <value>cluster1</value>
 </property>
 <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
    <value>rm1,rm2</value>
 </property>
 <property>
  	 <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
     <value>node01</value>
 </property>
 <property>
    <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
     <value>node02</value>
 </property>
 <property>
    <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
    <value>node02:2181,node03:2181,node04:2181</value>
 </property>

mapred-site.xml配置

<property>       
<name>mapreduce.framework.name</name>    
<value>local</value>
</property>

四、配置免密

同样要配置resourcemanager和nodemanager的免密，但是我们这次的配置是把resourcemanager开到了node01上，备用resourcemanager开到了node02节点上，而node01本身已经和其他节点配置过免密，所有此次不再配置。

五、启动集群

1，先停止集群上开启的进程（服务）
2，在node01节点上启动hdfs集群start-dfs.sh
3，在node01上启动yarn集群start-yarn.sh（Nodemanager也是由slaves文件来管理）
4，然后再手动启动node01和node02上的resourcemanager
     yarn-daemon.sh start resourcemanager
5，jps检查各个节点上进程的启动情况

六、浏览器验证

同hdfs浏览器端验证相似，yarn集群使用的端口是8088

显示activenodes节点数为3，证明节点搭建成功，当然这个数字也会变，要看你启动的nodemanager个数。