YARN HA解析

RM:

a.启动时会向 ZK的 hadoop-ha目录写一个lock文件,写成功标识active,否则standby rm会一直监控lock文件是否存在,如果不存在就尝试去创建,争取为active rm.
b.会接收client的任务的请求,接收和监控nm的资源汇报,负责资源的分配调度,启动和监控applicationmaster .

NM:

节点上资源的管理,启动容器container,运行task 计算,上报资源,container情况汇报给applicationmaster

建议: mr on yarn提交流程 

RMStateStore:

a.rm的作业信息存储在zk的/rmstore下,active rm会向这个目录写app信息。
b.当active rm挂了,另外一个standby rm成功转换为active rm后,会从这个zk的/rmstore目录读取对应的作业的信息,
重新构建作业的内存信息,启动内部服务,开始接收NM的心跳,构建集群资源信息,且开始接收客户端提交的作业请求。

ZKFC:

自动故障转移  是rm的线程  非独立的守护进程

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章