spark資源調度與yarn類比

spark資源調度與yarn類比:

master負責資源調度:就是決定在那些worker上啓動executor,監控worker) ————>   yarn上的是resourcemanager

worker負責啓動執行任務的進程(executor),並且監控executor,並且將當前機器的信息通過心跳彙報給master

————>nodemanager

executor負責執行計算任務————>yarnchild

SparkSubmit負責向Master提交任務並申請資源,然後該任務下的executor跟sparkSubmit進行通信,監控Executor

————>AppMaster

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章