YARN HA架構

image.png

Yarn HA

RM:

a.啓動時會通過向ZK的/hadoop-ha目錄寫一個lock文件,寫成功則爲active,否則standyby

standy 的RM會一直監控lock文件是否存在,如果不存在就會嘗試去創建,爭取爲active RM

b.會接收客戶端的任務請求,接收和監控nm的資源的彙報,負責資源的分配與調度,啓動和監控我們的ApplicationMaster

NM:

節點上的資源的管理,啓動container容器,運行task的計算,上報資源,container情況彙報給RM和任務的處理情況彙報給作業的ApplicationMaster

ZKFC直接嵌入到RM中

RMStateStore直接存儲到ZK中

ApplicationMaster(AM):

單個application(job)的task的管理和調度,並向rm進行資源的申請,向nm發出 launch conta指令,接收NM的task的處理狀態信息。

面試題:ApplicationMaster 運行在哪裏

ApplicationMaster 運行在nm機器上的container。AM也是個任務,只不過在做它自己該完成的職責。

RMstatestore:

a.RM的作業信息存儲在ZK的/rmstore下,active RM向這個目錄寫 作業信息(即Application)

b當activerm掛了,另外一個standby rm成功轉換爲active rm後,會從/rmstore目錄讀取相應的作業信息,重新構建作業的內存信息。

然後開始內部服務,開始接受NM的心跳,構建集羣資源的信息,並接收客戶端的提交作業的請求等。

ZKFC:

自動故障轉移,只作爲RM進行的一個線程,而非獨立的守護進程來啓動。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章