Hadoop配置-Yarn篇
本文參考廈門大學數據庫實驗室，表示感謝 http://dblab.xmu.edu.cn/blog/install-hadoop/
作者：秦景坤
時間：2017-4-23
YARN是Hadoop2.x中的內容（僞分佈式不啓動YARN也可以，一般不會影響程序執行）
有的讀者可能會疑惑，怎麼啓動Hadoop後，見不到書上所說的JobTracker和TaskTracker，這是因爲新版的Hadoop使用了新的MapReduce框架（MapReduce V2,也稱爲YARN,Yet Another Resource Negotiator）。
YARN是從MapReduce中分離出來的，負責資源管理與任務調度。YRAN運行於MapReduce之上，提供了高可用性、高擴展性。
上一篇中通過./sbin/start-dfs.sh啓動Hadoop，僅僅是啓動了MapReduce環境，可以啓動YARN,讓YARN來負責資源管理和任務調度。
首先修改配置文件mapred-site.xml，這邊需要先進行重命名。
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
然後再進行編輯，同樣使用vi進行編輯 vi ./etc/hadoop/mapred-site.xml
接着修改配置文件yarn-site.xml:
然後就可以啓動YARN（需要先執行./sbin/start-dfs.sh）
啓動YARN之後，運行實例的方法還是一樣的，僅僅是資源管理方式，任務調度不同。觀察日誌信息可以發現，不啓用YARN時，是”mapred.LocalJobRunner”在跑任務，啓用YARN之後，是”mapred.YARNRunner”在跑任務。啓動YARN有個好處是可以通過web界面查看任務的運行情況。
但YARN主要是爲集羣提供更好的資源管理和任務調度，然而這在單機上體現不出價值，反而會使程序跑的稍慢些。因此在單機上是否開啓YARN就看實際情況了。
如果不想啓動YARN，務必把配置文件mapred-site.xml重命名，改成mapred-site.xml.template,需要時改回來就行。否則在該配置文件存在，而未開啓YARN的情況下，運行程序會提示”Retrying connect to server:0.0.0.0/0.0.0.0:8032”的錯誤，這也是爲何該配置文件初始文件名爲mapred-site.xml.template
同樣的，關閉YARN的腳本如下：
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver