文章目錄
Master URL | Meaning |
---|---|
local |
在本地運行,只有一個工作進程,無並行計算能力 |
local[K] |
在本地運行,有 K 個工作進程,通常設置 K 爲機器的CPU 核心數量 |
local[*] |
在本地運行,工作進程數量等於機器的 CPU 核心數量 |
Spark://HOST:PORT |
以 Standalone 模式運行,這是 Spark 自身提供的集羣運行模式,默認端口號: 7077 |
mesos://HOST:PORT |
在 Mesos 集羣上運行,Driver 進程和 Worker 進程運行在 Mesos 集羣上,部署模式必須使用固定值:–deploy-mode cluster |
yarn-client |
在 Yarn 集羣上運行,Driver 進程在本地, Work 進程在 Yarn 集羣上, 部署模式必須使用固定值:–deploy-modeclient。Yarn 集羣地址必須在HADOOP_CONF_DIRorYARN_CONF_DIR 變量裏定義 |
yarn-cluster效率比yarn-client高 |
在 Yarn 集羣上運行,Driver 進程在 Yarn 集羣上,Work 進程也在 Yarn 集羣上,部署模式必須使用固定值:–deploy-mode cluster。Yarn 集羣地址必須在HADOOP_CONF_DIRorYARN_CONF_DIR 變量裏定義 |
1.本地運行模式 (單機)
spark-shell --master local
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local \
/usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
100
2.spark standalone模式【必須啓動master和worker】
spark-shell --master spark://master:7077
提交任務:
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://masterhd.bigdata:7077 \
--executor-memory 2G \
# 指定每個worker可用內存爲2G
--total-executor-cores 2 \
# 指定整個集羣使用的cup核數爲2個
/usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
100
3.spark on yarn-client模式【一定別啓動master和worker】
Ambari集羣下,默認啓動spark-shell是yarn模式
spark-shell
spark-shell --master yarn-client
提交任務:
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-client \
/usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
100
4.spark on yarn-cluster模式【一定別啓動master和worker】
提交任務
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
/usr/hdp/3.1.0.0-78/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.0.0-78.jar \
100