SparkEnv 構造步驟:
1.創建安全管理器SecurityManager:
主要對權限、賬號進行設置,若用YARN作爲集羣管理器,則需要證書生成secret key登錄。
2.創建基於Akka的分佈式消息系統ActorSystem:
Spark使用它來實現併發編程,也用它來發送分佈式消息。
Spark1.6後已使用Netty完全替代Akka
3.創建Map任務輸出跟蹤器mapOutTracker:
4.實例化ShuffleManager:
5.創建ShuffleMemoryManager:
6.創建塊傳輸服務BlockTransferService:
7.創建BlockManagerMaster:
8.創建塊管理器BlockManager:
9.創建廣播管理器BroadcastManager:
10.創建緩存管理器CacheManager:
11.創建HTTP文件服務器HttpFileServer:
12.創建測量系統 MetricsSystem:
13.創建SparkEnv
Spark-創建執行環境SparkEnv
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.