SparkCore執行方式核心知識

一、Spark作業調度方式
1、Local
測試或實驗性質的本地運行模式
Local[N]是用單機的多個線程來模擬Spark分佈式計算，通常用來驗證開發出來的應用程序邏輯上有沒有問題。
其中N代表可以使用N個線程，每個線程擁有一個core。如果不指定N，則默認是一個線程（該線程有一個core）
2、standalone：指定節點
使用sparksubmit提交任務的時候（包括idea或其他開發工具使用new Sparkconf（）來運行任務的時候），Driver運行在Client
3、Yarn
①Yarn client 測試用使用
spark跑在hadoop的集羣中，所以爲了做到資源能夠均衡調度，會使用yarn作爲spark的cluster Manager，來爲spark的應用程序分配資源。
在執行Spark應用程序前，要啓動hadoop的各種服務。由於已經有了資源管理器，所以不需要啓動spark的Master、Worker守護進程
Driver是在客戶端執行
②Yarn cluster 生產中用
spark submit腳本提交，向yarn（RM）中提交ApplicationMaster程序、AM啓動的命令和需要在Executor中運行的程序等
Resource Manager在集羣中的某個NodeManager上運行ApplicationMaster，該AM同時會執行Driver程序。緊接着，會在各NoderManager上執行