1、SparkContext 和cluster manager(standalone、yarn等)建立連接,給APP分配資源
2、獲得executor
3、發送jar給executor
4、sparkContext發送task給executor
note:
1、每個application都是獨立的,driver端調度task,executor端task運行在不同的jvm上
術語
Term | meaning |
---|---|
Task | 發送到executor的work |
Job | spark action(e.g. save, collect)中並行計算的產物 |
Stage | 每個job divided成的 一組tasks,stages互相依賴 |