Spark Yarn Cluster模式運行流程

以wordCount功能實現爲例:
命令行:
bin/spark-submit
–class WordCount
–master yarn
–deploy-mode cluster
./WordCount.jar
./input ./output

Spark Yarn Cluster模式運行流程

命令行-腳本執行- SparkSubmit- 內部調用Client類裏面的main方法並執行- 封裝併發送指令bin/java ApplicationMaster-RM(ResourceManager)- 選擇一臺NM啓動AM(ApplicationManager)- AM啓動Driver線程 (執行代碼-初始化SC-任務切分)- 申請資源-啓動ExecutorBackend(bin/java CoarseGrainedExecutorBackend)- 在EB內部創建Executor對象- 接受Dirver分配的任務
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章