文章目錄
1 YARN Web UI服務
1.1 WebUI V1服務
1.2 JobHistoryServer服務
1.3 TimelineServer服務
2 YARN操作維護命令
2.1 User用戶命令
2.1.1 application
2.1.2 jar
2.1.3 applicationattempt
2.1.4 container
2.1.5 logs
2.1.6 queue
2.1.7 node
2.1.8 version
2.2 admin管理命令
2.2.1 resourcemanager|nodemanager
2.2.2 proxyserver
2.2.3 daemonlog
2.2.4 rmadin
2.2.5 timelineserver
2.2.6 scmadmin
3 YARN資源管理與隔離
3.1 Memory資源
3.2 CPU資源
4 YARN資源調度器Scheduler
4.1 FIFO Scheduler
4.2 Capacity Scheduler
4.3 Fair Scheduler
5 YARN核心配置參數
5.1 RM核心參數
5.2 NM核心參數
5.3 Container核心參數
1 YARN Web UI服務
1.1 WebUI V1服務
YARN提供了一個WebUI V1服務，該服務屬於內置服務，隨着RM啓動而啓動。V1表示這是第一代版本的WebUI服務。
用戶可以通過瀏覽器登錄界面，來監視羣集、隊列、應用程序、服務、節點信息。
還可以查看集羣詳細配置的信息，檢查各種應用程序和服務的日誌。
瀏覽器輸入http://RM_HOST:8088/訪問YARN WebUI服務。
頁面打開後，以列表形式展示處於各種狀態（接收、執行、完成、殺死、失敗）的各種應用程序，如MapReduce應用、Spark應用、Flink應用等，與點擊頁面左側Application欄目紅線框Applications鏈接顯示的內容一致。
1.2 JobHistoryServer服務
概述：
默認情況下，YARN RM重啓之後，已經完成的作業和正在執行的作業信息都會丟失。
針對正在執行的作業恢復，可以設置RM重啓機制恢復（yarn.resourcemanager.recovery.enabled）。
JobHistoryServer（JHS）屬於YARN的一項系統服務，僅存儲已經運行完成的MapReduce應用程序的作業歷史信息，並不會存儲其他類型（如Spark、Flink等）應用程序的作業歷史信息。
當啓用JHS服務時，建議開啓日誌聚合功能，利於統一管理和分析日誌。否則每個Container的運行日誌是存儲在NodeManager節點本地，查看日誌時需要訪問各個NodeManager節點。
web查看：瀏覽器登錄JHS http://node1:19888/
查看已完成MR作業歷史信息：
在JHS主頁面上，會列舉中所有在YARN上已經執行完的MR作業信息。通過點擊JobID可以進入查看詳細信息。
查看MR作業中各個Task的詳細信息
lMR作業歷史信息保存位置由參數mapreduce.jobhistory.done-dir指定。（mapred-default.xml）
1.3 TimelineServer服務
概述：
由於Job History Server僅對MapReduce應用程序提供歷史信息支持，其他應用程序的歷史信息需要分別提供單獨的HistoryServer才能查詢和檢索。例如Spark的Application需要通過Spark自己提供的org.apache.spark.deploy.history.HistoryServer來解決應用歷史信息。
爲了解決這個問題，YARN新增了Timeline Server組件，以通用的方式存儲和檢索應用程序當前和歷史信息。
中文語境下，將Timeline Server稱之爲時間軸服務。
職責：
存儲應用程序的特定信息
收集和檢索指定應用程序或者框架的某些信息。例如，Hadoop的MR框架會產生像是Map task數量、Reduce task數量、Counter等信息，應用開發人員可以通過TimelineClient，在Application Master或者Container中將特定的信息發送到Timeline服務器。同時Timeline提供了REST API，用於查詢Timeline中存儲的信息，並可以通過應用程序或者框架的特定UI進行展示。
保存已完成應用程序的常規信息
在之前此功能只能通過JobHistory Server實現，並且只支持MR Job。隨着Timeline服務的出現， JobHistory Server的功能可以看做是Timeline的一部分。
版本介紹：
到目前，TimelineServer有V1、V1.5和V2共三個版本。
V1僅限於寫入器/讀取器和存儲的單個實例，無法很好地擴展到小型羣集之外,伸縮性不足；
V2還處於alpha狀態，實現了讀寫分離，後端依賴HBase；
官方文檔：
http://hadoop.apache.org/docs/r3.1.4/hadoop-yarn/hadoop-yarn-site/TimelineServer.html
http://hadoop.apache.org/docs/r3.1.4/hadoop-yarn/hadoop-yarn-site/TimelineServiceV2.html
web查看：http://node1:8188/
————————————————
https://blog.csdn.net/qq_46439199/article/details/127856724