spark 3.0 集羣配置

下載spark安裝包：https://spark.apache.org/downloads.html

下載對應hadoop版本的spark即可。

• 解壓，得到目錄如下：

• 配置環境變量。依然採用在/etc/profile.d/下創建spark.sh。

• 配置spark：

進入conf文件夾，複製配置文件的模板，命名爲spark-env.sh。

cp spark-env.sh.template spark-env.sh

 

前提是需要配置好java、scala、hadoop。

spark-env.sh文件只需要在尾部追加一點配置：

同樣複製slaves的模板，命名爲slaves。

cp slaves.template slaves

 

slaves需要指定集羣的機器hostname，和hadoop配置過程一樣。

將spark文件夾發送到其他機器上。

防火牆我已經在配置hadoop的時候處理過，方法是建立了機器之間的內部信任關係。

配置hadoop地址：https://blog.csdn.net/qq_39314099/article/details/103681298

• 啓動：

進入sbin目錄，和hadoop一樣，使用start-all.sh腳本來啓動。

可以在瀏覽器訪問：

CentOS121:8080

可以在命令行開啓spark-shell：