本文接着上一篇的博客“spark环境搭建上---Hadoop集群搭建”进行。本文主要介绍scala以及spark的安装与搭建。
七.scala安装
1.下载
我的安装的scala为scala-2.12.8
https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz
2.安装参考
scala安装在/opt目录下
https://jingyan.baidu.com/article/215817f7ae90e01eda142312.html
八.spark安装
1.下载
本文安装的spark为spark-2.3.3，安装目录在/opt目录下
我的安装的spark为spark-2.3.3
https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.7.tgz
2.配置spark-env.sh
step01：将spark-env.sh.template复制成spark-env.sh
cp /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-env.sh.template /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-env.sh
step02：在终端窗口中输入命令，gedit /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-env.sh，在里面输入：
export HADOOP_CONF_DIR=/opt/hadoop-2.8.5
export JAVA_HOME=/usr/java_8/jdk1.8.0_211
export SCALA_HOME=/opt/scala-2.12.8
export SPARK_MASTER_IP=192.168.149.132
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=2g
export SPARK_JAR=/opt/spark-2.3.3-bin-hadoop2.7/jars/*.jars
3.配置spark-defaults.conf复制成spark-defaults.conf
step01：将spark-defaults.conf.template复制成spark-defaults.conf
cp /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-defaults.conf.template /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-defaults.conf
step02：在终端窗口中输入命令， /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-defaults.conf，在里面输入：
spark.master=spark://192.168.149.132:7077
4.配置slaves
step01：将slaves.template复制成slaves
cp /opt/spark-2.3.3-bin-hadoop2.7/conf/slaves.template /opt/spark-2.3.3-bin-hadoop2.7/conf/slaves
在终端窗口中输入命令， /opt/spark-2.3.3-bin-hadoop2.7/conf/spark-defaults.conf，在里面输入：
192.168.149.133
192.168.149.134
5.将master上安装好的spark拷贝到slave01，slave02上
scp -r /opt/spark-2.3.3-bin-hadoop2.7 slave01:/opt/
scp -r /opt/spark-2.3.3-bin-hadoop2.7 slave02:/opt/
6.配置系统环境
step01：在终端窗口中输入命令，gedit /etc/profile，在里面输入：
export SPARK_HOME=/opt/spark-2.3.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
step02：在终端窗口中输入命令，source /etc/profile，使配置生效
7.启动spark集群
step01：在终端窗口中输入命令，sh /opt/hadoop-2.8.5/sbin/start-all.sh，启动hadoop。
step02：在终端窗口中输入命令，sh /opt/spark-2.3.3-bin-hadoop2.7/sbin/start-master.sh以及sh /opt/spark-2.3.3-bin-hadoop2.7/sbin/start-slaves.sh，启动spark
注意：在启动之前确保登录用户（本文的登录用户为deamon），对/opt/hadoop-2.8.5/log目录中的文件拥有读写权限（chmod 777 /opt/hadoop-2.8.5/log）
8.验证hadoop是否启动成功
step01：在master，slave01，slave02上输入jps，验证相关进程是否启动
step01：在浏览器上输入192.168.149.132:8080
九.总结
spark安装环境就此安装完毕