spark standalone集羣部署

進入spark安裝目錄下的conf文件夾

修改配置文件名稱

mv slaves.template slaves

mv spark-env.sh.template spark-env.sh

修改slave文件，添加work節點：

vim slaves

加入：

hadoop102
hadoop103
hadoop104

修改spark-env.sh文件，添加如下配置：

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

分發spark包

xsync spark/

啓動

sbin/start-all.sh

util.sh

網頁查看：

因爲默認的8080和tomcat衝突了，改這裏可以換成8081：

1、cd SPARK_HOME/sbin

2、vi start-master.sh

3、定位到下面部分內容：
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8081
fi

訪問地址是：

http://hadoop102:8081/

注意：如果遇到 “JAVA_HOME not set” 異常，可以在sbin目錄下的spark-config.sh 文件中加入如下配置：

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

 

官方求PI案例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

 

啓動spark shell

/opt/module/spark/bin/spark-shell \
--master spark://hadoop102:7077 \
--executor-memory 1g \
--total-executor-cores 2

參數：--master spark://hadoop102:7077指定要連接的集羣的master

執行WordCount程序

scala>sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((hadoop,6), (oozie,3), (spark,3), (hive,3), (atguigu,3), (hbase,6))

JobHistoryServer配置

修改spark-default.conf.template名稱

mv spark-defaults.conf.template spark-defaults.conf

修改spark-default.conf文件，開啓Log：

vi spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop102:9000/directory

注意：HDFS上的目錄需要提前存在。

hadoop fs -mkdir /directory

修改spark-env.sh文件，添加如下配置：

vi spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory"

參數描述：

spark.eventLog.dir：Application在運行過程中所有的信息均記錄在該屬性指定的路徑下；

spark.history.ui.port=18080  WEBUI訪問的端口號爲18080

spark.history.fs.logDirectory=hdfs://hadoop102:9000/directory  配置了該屬性後，在start-history-server.sh時就無需再顯式的指定路徑，Spark History Server頁面只展示該指定路徑下的信息

spark.history.retainedApplications=30指定保存Application歷史記錄的個數，如果超過這個值，舊的應用程序信息將被刪除，這個是內存中的應用數，而不是頁面上顯示的應用數。

分發配置文件

xsync spark-defaults.conf

xsync spark-env.sh

啓動歷史服務

sbin/start-history-server.sh

再次執行任務

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

查看歷史服務

hadoop102:18080

 

 HA配置

zookeeper正常安裝並啓動

修改spark-env.sh文件添加如下配置：

註釋掉如下內容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
添加上如下內容：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"

分發配置文件

xsync spark-env.sh

在hadoop102上啓動全部節點

sbin/start-all.sh

在hadoop103上單獨啓動master節點

sbin/start-master.sh

spark HA集羣訪問

/opt/module/spark/bin/spark-shell \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2g \
--total-executor-cores 2