Spark-創建執行環境SparkEnv

SparkEnv 構造步驟:

1.創建安全管理器SecurityManager:
  主要對權限、賬號進行設置,若用YARN作爲集羣管理器,則需要證書生成secret key登錄。

2.創建基於Akka的分佈式消息系統ActorSystem:
  Spark使用它來實現併發編程,也用它來發送分佈式消息。
  Spark1.6後已使用Netty完全替代Akka
  

3.創建Map任務輸出跟蹤器mapOutTracker:
4.實例化ShuffleManager:
5.創建ShuffleMemoryManager:
6.創建塊傳輸服務BlockTransferService:
7.創建BlockManagerMaster:
8.創建塊管理器BlockManager:
9.創建廣播管理器BroadcastManager:
10.創建緩存管理器CacheManager:
11.創建HTTP文件服務器HttpFileServer:
12.創建測量系統 MetricsSystem:
13.創建SparkEnv

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章