安裝分佈式spark

1. 下載

http://spark.apache.org/downloads.html

如：版本自行選擇

sudo wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz

2. 解壓

 sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop3.2.tgz -C  /usr/local/bigdata/

mv spark-3.0.0-preview2-bin-hadoop3.2/ spark

3. 配置環境變量

vim ~/.bashrc

加入以下內容：

export JAVA_HOME=/usr/local/jdk
export SPARK_HOME=/usr/local/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4.1  配置slave文件

sudo cp ./conf/slaves.template ./conf/slaves

編輯slaves文件，指定子節點

slave1
slave2

 

4.2 配置spark-env.sh，加入以下內容

sudo cp ./conf/spark-env.sh.template ./conf/spark-env.sh

編輯加入以下內容

export SPARK_DIST_CLASSPATH=$(/usr/local/bigdata/hadoop/hadoop-3.2.1/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_IP=主節點的ip

注：注意ip是master的ip，文件路徑要對，是基於hadoop的文件路徑

5. 打包並且發送到兩個slave節點

打包

tar -zcf ~/spark.master.tar.gz ./spark

發送到子節點

cd ~
scp spark.master.tar.gz slave2:/home/hadoop/

6. slave節點解壓

sudo tar -zxf ~/spark.master.tar.gz -C /usr/local/bigdata

 

7. 啓動集羣

主節點執行

./sbin/start-master.sh

權限不足執行：

sudo chown -R hadoop hadoop ./spark/

啓動成功

可以看出多出了一個Master進程，說明master啓動成功

下面啓動slave節點，在master節點執行

./sbin/start-slaves.sh

可以看出子節點多出了一個Work進程。

訪問http://master:8080

安裝完畢！