CentOS6.5安裝spark

安裝spark包

1、將spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上傳到/usr/local目錄下。

2、解壓縮spark包：tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。

3、更改spark目錄名：mv spark-1.3.0-bin-hadoop2.4 spark

4、設置spark環境變量

vi ~/.bashrc

export SPARK_HOME=/usr/local/spark

export PATH=$SPARK_HOME/bin

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source ~/.bashrc

修改spark-env.sh文件

1、cd /usr/local/spark/conf

2、cp spark-env.sh.template spark-env.sh

3、vi spark-env.sh

export JAVA_HOME=/usr/java/latest

export SCALA_HOME=/usr/local/scala

export SPARK_MASTER_IP=192.168.1.107

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

修改slaves文件

spark1

spark2

spark3

安裝spark集羣

在另外兩個節點進行一模一樣的配置，使用scp將spark和.bashrc拷貝到spark2和spark3即可

啓動spark集羣

1、在spark目錄下的sbin目錄

2、執行./start-all.sh

3、使用jsp和8080端口可以檢查集羣是否啓動成功

4、進入spark-shell查看是否正常

 

安裝包https://download.csdn.net/download/huaicainiao/11160982