Hadoop集羣配置、啓動YARN

本篇在 Hadoop集羣啓動HDFS 的基礎上繼續配置

 

YARN啓動：

配置mapred-site.xml（複製mapred-site.xml.template配置模板生成mapred-site.xml）：

cp /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml

vim /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml

修改

<configuration>
        <property> 
                <name>mapreduce.framework.name</name> 
                <value>yarn</value>
        </property>
        # 可選則不加
        <property> 
                <name>mapreduce.jobhistory.address</name> 
                <value>hadoop1:10020</value>
        </property> 
        # 可選則不加
        <property> 
                <name>mapreduce.jobhistory.webapp.address</name> 
                <value>hadoop1:19888</value>
        </property> 
</configuration>

mapreduce.framework.name：設置 mapreduce 任務運行在 yarn 上
mapreduce.jobhistory.address：設置 mapreduce 的歷史服務器安裝在BigData01機器上
mapreduce.jobhistory.webapp.address：設置歷史服務器的web頁面地址和端口號

配置yarn-site.xml（YARN上運行的MapReduce框架）：

vim /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml

修改

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
        </property>
        <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>hadoop1</value>
        </property>
        # 可選則不加
        <property>
             <name>yarn.log-aggregation-enable</name>
             <value>true</value>
        </property>
        # 可選則不加
        <property>
             <name>yarn.log-aggregation.retain-seconds</name>
             <value>106800</value>
        </property>
</configuration>

yarn.log-aggregation-enable：是否啓用日誌聚集功能。
yarn.log-aggregation.retain-seconds：設置日誌保留時間，單位是秒

啓動yarn（資源管理系統）：

/usr/local/hadoop/hadoop-2.9.2/sbin/start-yarn.sh

啓動 resourcemanager（控制整個集羣並管理應用程序向基礎計算資源的分配）：

/usr/local/hadoop/hadoop-2.9.2/sbin/yarn-daemon.sh start resourcemanager

啓動 nodemanager（管理 YARN 集羣中的每個節點，監控資源和跟蹤節點）：

/usr/local/hadoop/hadoop-2.9.2/sbin/yarn-daemon.sh start nodemanager

Web頁面查看：

http://本虛擬機IP地址:8088/

 

運行MapReduce Job：

創建測試文件：

vim /usr/local/hadoop/hadoop-2.9.2/data/tmp/test.input

修改

hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

在hdfs創建目錄：

/usr/local/hadoop/hadoop-2.9.2/bin/hdfs dfs -mkdir /demo/input

運行 WordCount MapReduce Job：

/usr/local/hadoop/hadoop-2.9.2/bin/yarn jar /usr/local/hadoop/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /demo/input /demo/output

查看結果（數據的重複次數）：

hadoop dfs -ls /demo/output

hadoop dfs -cat /demo/output/part-r-00000