spark资源调度与yarn类比

spark资源调度与yarn类比:

master负责资源调度:就是决定在那些worker上启动executor,监控worker) ————>   yarn上的是resourcemanager

worker负责启动执行任务的进程(executor),并且监控executor,并且将当前机器的信息通过心跳汇报给master

————>nodemanager

executor负责执行计算任务————>yarnchild

SparkSubmit负责向Master提交任务并申请资源,然后该任务下的executor跟sparkSubmit进行通信,监控Executor

————>AppMaster

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章