CentOS 6.7Spark 單機模式環境搭建

Spark 單機模式環境搭建

1.下載Spark安裝包

cd /opt

​ Spark下載鏈接：http://spark.apache.org/downloads.html

​ 複製到自己的目錄 ，並解壓

​ tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7

2.配置環境變量

​ export SPARK_HOME=xxxxxx

​ 建議把spark的bin目錄和sbin目錄都加到path下

​ export PATH = $PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

​ source /etc/profile

3.安裝scala和python

一般linux現在都自帶python，輸入：

python -v 可以檢驗是否帶有python環境

[root@rhel733 opt]# python -V
Python 2.7.5
[root@rhel733 opt]#

那就來安裝scala

cd /opt

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

tar -xzvf scala-2.11.8.tgz

添加scala環境變量 步驟跟2.配置環境變量相同

Tips: java環境也是肯定要的 那個就不贅訴了。

4.設置conf

cd spark-3.0.0/conf/
cp slaves.template slaves
cp log4j.properties.template log4j.properties
vi log4j.properties   找到log4j.rootCategory配置  改INFO 爲WARN  （這樣避免過多日誌輸出)
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
	在文件最後添加自己的java環境變量、spark環境變量、scala環境變量
	export JAVA_HOME=/opt/jdk1.8
	export SPARK_HOME=/opt/spark-3.0.0
	export SCALA_HOME=/opt/scala-2.11.8

5.啓動集羣

5.1 啓動master

cd /opt/spark-3.0.0/sbin
[root@rhel731 sbin]# ./start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/spark-3.0.0/logs/spark-root-org.apache.spark.deploy.master.Master-1-rhel731.out

​ 沒有報錯則代表啓動master節點成功

進入web頁面查看 默認爲8080端口

看到能進入web UI 說明master啓動成功了

5.2 啓動slave

./start-slave.sh spark://rhel731:7077

spark://rhel731:7077 這是啓動worker時 需要的master參數值

[root@rhel731 sbin]# jps
3543 SparkSubmit
5930 Worker
5994 Jps
5821 Master
[root@rhel731 sbin]#

jps也查到有master 也有Worker

6. spark-shell

使用MASTER參數的spark-shell 連接master

MASTER=spark://rhel731:7077 spark-shell

可以在UI中看到 spark-shell出現了

7.關閉集羣

sbin目錄下:

./stop-all.sh