spark Cluster Mode

在這裏插入圖片描述
1、SparkContext 和cluster manager(standalone、yarn等)建立連接,給APP分配資源
2、獲得executor
3、發送jar給executor
4、sparkContext發送task給executor
note:
1、每個application都是獨立的,driver端調度task,executor端task運行在不同的jvm上

術語

Term meaning
Task 發送到executor的work
Job spark action(e.g. save, collect)中並行計算的產物
Stage 每個job divided成的 一組tasks,stages互相依賴

spark 官方 cluster 介紹

發佈了148 篇原創文章 · 獲贊 5 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章