阿里雲centos7.3 學生機安裝spark

（1）安裝包下載與解壓

官網下載安裝包（下帶scala的）

http://spark.apache.org/downloads.html

放置/usr/local/spark，解壓tar -xzvf spark-2.4.5-bin-hadoop2.7.tgz
 

（2）配置（jdk和hadoop自行安裝，可看我之前博客）

vim /usr/local/spark/spark-2.4.5-bin-hadoop2.7/conf/spark-env.sh
加上

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/hadoop-2.7.5/bin/hadoop classpath)
export JAVA_HOME=/usr/local/java/jdk1.8.0_231

編輯vim /usr/local/spark/spark-2.4.5-bin-hadoop2.7/conf/slaves

更改主機名，我的主機名是matser，所以修改爲mater，如果沒有更改過主機名，默認的localhost就可以了。

除了修改主機名外，如果是多臺主機，還需要添加其他主機的主機名。

（3）防火牆設置

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall開機啓動

（4）啓動

/usr/local/spark/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh