YARN環境搭建步驟備忘

PS：搭建前請保證已經搭建好了HDFS的環境。

安裝前後臺進程：

[root@CentOS ~]# jps
1427 DataNode
1604 SecondaryNameNode
1716 Jps
1339 NameNode

1.修改yarn-site.xml文件

如下，我的hadoop-2.6.0安裝在usr目錄下。因此文件yarn-site.xml在如下路徑

/usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml

 修改：vi命令 + 路徑 + 文件名

[root@CentOS ~]# vi /usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml

在configuration標籤中加入：

配置信息獲取位置->鏈接：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htm

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--Resource Manager-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>CentOS</value><!-你的資源管理者的主機名,我這裏是CentOS->
</property>

 修改完畢後按一下esc，然後輸入冒號，再輸入wq，保存並退出

2.修改mapred-site.xml文件

文件路徑：你的hadoop安裝位置 / 你的hadoop文件名 / etc / hadoop / mapred-site.xml.template

2.1 把模板template， mapred-site.xml.template 改名爲：mapred-site.xml

修改：mv命令 + 空格 + 路徑/文件名 + 空格 + 路徑/新的文件名  如下

[root@CentOS ~]# mv /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml

2.2 修改mapred-site.xml文件

配置信息獲取位置->鏈接：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htm

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

把以上property加入mapred-site.xml文件的configuration標籤中

修改完畢後按一下esc，然後輸入冒號，再輸入wq，保存並退出

3.啓動計算服務

輸入start-yarn.sh 開啓yarn管理器

[root@CentOS ~]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/hadoop-2.6.0/logs/yarn-root-resourcemanager-CentOS.out
CentOS: starting nodemanager, logging to /usr/hadoop-2.6.0/logs/yarn-root-nodemanager-CentOS.out

 安裝後後臺進程對比安裝前後臺進程多了一個資源管理者ResourceManager和節點管理者NodeManager

與上圖英語提示相呼應

[root@CentOS ~]# jps
1427 DataNode
1604 SecondaryNameNode
2309 Jps
1339 NameNode
1932 ResourceManager
2013 NodeManager

 ps：關閉yarn管理器命令：stop-yarn.sh

訪問8088端口：http://centos:8088/cluster      //這裏我的linux主機名添加了centos