文章目录
1 YARN Web UI服务
1.1 WebUI V1服务
1.2 JobHistoryServer服务
1.3 TimelineServer服务
2 YARN操作维护命令
2.1 User用户命令
2.1.1 application
2.1.2 jar
2.1.3 applicationattempt
2.1.4 container
2.1.5 logs
2.1.6 queue
2.1.7 node
2.1.8 version
2.2 admin管理命令
2.2.1 resourcemanager|nodemanager
2.2.2 proxyserver
2.2.3 daemonlog
2.2.4 rmadin
2.2.5 timelineserver
2.2.6 scmadmin
3 YARN资源管理与隔离
3.1 Memory资源
3.2 CPU资源
4 YARN资源调度器Scheduler
4.1 FIFO Scheduler
4.2 Capacity Scheduler
4.3 Fair Scheduler
5 YARN核心配置参数
5.1 RM核心参数
5.2 NM核心参数
5.3 Container核心参数
1 YARN Web UI服务
1.1 WebUI V1服务
YARN提供了一个WebUI V1服务，该服务属于内置服务，随着RM启动而启动。V1表示这是第一代版本的WebUI服务。
用户可以通过浏览器登录界面，来监视群集、队列、应用程序、服务、节点信息。
还可以查看集群详细配置的信息，检查各种应用程序和服务的日志。
浏览器输入http://RM_HOST:8088/访问YARN WebUI服务。
页面打开后，以列表形式展示处于各种状态（接收、执行、完成、杀死、失败）的各种应用程序，如MapReduce应用、Spark应用、Flink应用等，与点击页面左侧Application栏目红线框Applications链接显示的内容一致。
1.2 JobHistoryServer服务
概述：
默认情况下，YARN RM重启之后，已经完成的作业和正在执行的作业信息都会丢失。
针对正在执行的作业恢复，可以设置RM重启机制恢复（yarn.resourcemanager.recovery.enabled）。
JobHistoryServer（JHS）属于YARN的一项系统服务，仅存储已经运行完成的MapReduce应用程序的作业历史信息，并不会存储其他类型（如Spark、Flink等）应用程序的作业历史信息。
当启用JHS服务时，建议开启日志聚合功能，利于统一管理和分析日志。否则每个Container的运行日志是存储在NodeManager节点本地，查看日志时需要访问各个NodeManager节点。
web查看：浏览器登录JHS http://node1:19888/
查看已完成MR作业历史信息：
在JHS主页面上，会列举中所有在YARN上已经执行完的MR作业信息。通过点击JobID可以进入查看详细信息。
查看MR作业中各个Task的详细信息
lMR作业历史信息保存位置由参数mapreduce.jobhistory.done-dir指定。（mapred-default.xml）
1.3 TimelineServer服务
概述：
由于Job History Server仅对MapReduce应用程序提供历史信息支持，其他应用程序的历史信息需要分别提供单独的HistoryServer才能查询和检索。例如Spark的Application需要通过Spark自己提供的org.apache.spark.deploy.history.HistoryServer来解决应用历史信息。
为了解决这个问题，YARN新增了Timeline Server组件，以通用的方式存储和检索应用程序当前和历史信息。
中文语境下，将Timeline Server称之为时间轴服务。
职责：
存储应用程序的特定信息
收集和检索指定应用程序或者框架的某些信息。例如，Hadoop的MR框架会产生像是Map task数量、Reduce task数量、Counter等信息，应用开发人员可以通过TimelineClient，在Application Master或者Container中将特定的信息发送到Timeline服务器。同时Timeline提供了REST API，用于查询Timeline中存储的信息，并可以通过应用程序或者框架的特定UI进行展示。
保存已完成应用程序的常规信息
在之前此功能只能通过JobHistory Server实现，并且只支持MR Job。随着Timeline服务的出现， JobHistory Server的功能可以看做是Timeline的一部分。
版本介绍：
到目前，TimelineServer有V1、V1.5和V2共三个版本。
V1仅限于写入器/读取器和存储的单个实例，无法很好地扩展到小型群集之外,伸缩性不足；
V2还处于alpha状态，实现了读写分离，后端依赖HBase；
官方文档：
http://hadoop.apache.org/docs/r3.1.4/hadoop-yarn/hadoop-yarn-site/TimelineServer.html
http://hadoop.apache.org/docs/r3.1.4/hadoop-yarn/hadoop-yarn-site/TimelineServiceV2.html
web查看：http://node1:8188/
————————————————
https://blog.csdn.net/qq_46439199/article/details/127856724