摘要
在上一篇博客《Centos7 下 Hadoop 2.6.4 分佈式集羣環境搭建》
已經詳細寫了Hadoop 2.6.4 配置過程，下面詳細介紹 Spark 1.6.1的安裝過程。
Scala 安裝
下載 ，解壓
下載 Scala-2.11.8.tgz， 解壓到 /root/workspace/software/scala-2.10.4t 目錄下
修改環境變量文件 /etc/profile
添加以下內容
export SCALA_HOME=/root/workspace/software/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin- 1
- 2
- 1
- 2
source 使之生效
source /etc/profile- 1
- 1
驗證 Scala 安裝
slaver1-slaver4 部署 scala
slaver1 - slaver4 參照 master 機器安裝步驟進行安裝。
Spark 安裝
下載，解壓
下載 spark-1.6.1-bin-hadoop2.6.tgz，解壓到/root/workspace/software/spark1.6.1_hadoop2.6目錄下。
修改環境變量文件 /etc/profile, 添加以下內容。
export SPARK_HOME=/root/workspace/software/spark1.6.1_hadoop2.6/
export PATH=$PATH:XXX其他軟件的環境變量:$SPARK_HOME/bin# 在最後添加:$SPARK_HOME/bin- 1
- 2
- 1
- 2
source 使之生效
source /etc/profile- 1
- 1
Spark 配置
spark-env.sh
進入 Spark 安裝目錄下的 /root/workspace/software/spark1.6.1_hadoop2.6/conf 目錄， 拷貝 spark-env.sh.template 到 spark-env.sh。
cp spark-env.sh.template spark-env.sh- 1
- 1
編輯 spark-env.sh，在其中添加以下配置信息：
export SCALA_HOME=/root/workspace/software/scala-2.10.4
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_HOME=/root/workspace/software/hadoop-2.6.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=192.168.122.1
export SPARK_LOCAL_DIRS=/root/workspace/software/spark1.6.1_hadoop2.6
export SPARK_WORKER_MEMORY=20g- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
JAVA_HOME 指定 Java 安裝目錄；
SCALA_HOME 指定 Scala 安裝目錄；
SPARK_MASTER_IP 指定 Spark 集羣 Master 節點的 IP 地址；
SPARK_WORKER_MEMORY 指定的是 Worker 節點能夠分配給 Executors 的最大內存大小；
HADOOP_CONF_DIR 指定 Hadoop 集羣配置文件目錄。
SPARK_WORKER_MEMORY 我這邊的機器內存32g，我設置內存爲20g,更加自己的情況修改。
slaves
將 slaves.template 拷貝到 slaves， 編輯其內容爲：
master
slaver1
slaver2
slaver3
slaver4- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
即 master 既是 Master 節點又是 Worker 節點
slaver1- slaver4 部署
slaver1 -slaver4 參照 master 機器安裝步驟進行安裝。
啓動 Spark 集羣
啓動 Hadoop 集羣
參考《Centos7 下 Hadoop 2.6.4 分佈式集羣環境搭建》
啓動 Spark 集羣
啓動 Master 節點
運行 /root/workspace/software/spark1.6.1_hadoop2.6/sbin 下面， start-master.sh 
可以看到 master 上多了一個新進程 Master。
啓動所有 Worker 節點
運行 運行 /root/workspace/software/spark1.6.1_hadoop2.6/sbin 下面，start-slaves.sh
在slaver1-slaver4查看進程
可以發現都啓動了一個 Worker 進程
瀏覽器查看 Spark 集羣信息
訪問：http://masterIP:8080, 如下圖：
使用 spark-shell
運行 spark-shell，可以進入 Spark 的 shell 控制檯，如下：
瀏覽器訪問 SparkUI
可以從 SparkUI 上查看一些 如環境變量、Job、Executor等信息。
至此，整個 Spark 分佈式集羣的搭建就到這裏結束。
停止 Spark 集羣
停止 Master 節點
運行/root/workspace/software/spark1.6.1_hadoop2.6/sbin，下面的stop-master.sh 來停止 Master 節點。
jps查看java進程
可以發現 Master 進程已經停止。
停止 Master 節點
運行/root/workspace/software/spark1.6.1_hadoop2.6/sbin，下面的stop-slaves.sh （注意是stop-slavers 有s） 可以停止所有的 Worker 節點
使用 jps 命令查看 master上的進程信息：
worker 關閉了
使用 jps 命令查看 slaver1上的進程信息： 
可以看到， Worker 進程均已停止，最後再停止 Hadoop 集羣.