參考傳送門：https://blog.csdn.net/zpf336/article/details/82152286
spark入門之提交任務方式篇，spark的部署方式如下圖：
當用/bin/spark-submit 提交任務時，
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
一、Local模式：
單機版，不需要依賴Hadoop、Zookeeper等組件。
- local: 所有計算都運行在一個線程當中，沒有任何並行計算，通常我們在本機執行一些測試代碼，或者練手，就用這種模式。
- local[K]: 指定使用幾個線程來運行計算，比如local[4]就是運行4個worker線程。通常我們的cpu有幾個core，就指定幾個線程，最大化利用cpu的計算能力
- local[*]: 這種模式直接幫你按照cpu最多cores來設置線程數了。
提交示例：
/bin/spark-submit --master local[*] xxx.jar
4040：application的webUI的端口號
二、cluster模式
需要把cluster模式作爲主節點參數遞給spark-submit
1、standalone模式
獨立集羣模式，這種模式下，Spark會自己負責資源的管理調度。它將cluster中的機器分爲master機器和worker機器，master通常就一個，可以簡單的理解爲那個後勤管家，worker就是負責幹計算任務活的苦勞力，主從機需要無密碼ssh登陸
8080：master的webUI;
7077：spark基於standalone的提交任務的端口號
8081：worker的webUI的端口號
提交示例：
--master spark://host:port
2、mesos模式
提交示例：
/bin/spark-submit --master mesos//host:port xxx.jar
3、yarn模式
生產環境大多采用yarn模式，yarn模式又分爲yarn cluster模式和yarn client模式：
- yarn cluster: 這個就是生產環境常用的模式，所有的資源調度和計算都在集羣環境上運行。
- yarn client: 這個是說Spark Driver和ApplicationMaster進程均在本機運行，而計算任務在cluster上。
提交示例：
/bin/spark-submit --master yarn xxx.jar
8088：yarn的webUI的端口號