搭建Spark的單機版集羣

租用的阿里雲 CentOS 7.3 64位
用 SecureCRT 連接服務器，需要設置下安全組，才能連接上

SecureCRT 向服務器上傳文件 用 rz命令，然後會彈出文件框來選擇

vim /etc/profile // 添加java、scala 的環境變量

#set java environment
JAVA_HOME=/usr/java/jdk1.7.0_80
JRE_HOME=/usr/java/jdk1.7.0_80/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
  #set scala
export SCALA_HOME=/usr/java/scala-2.11.11
export PATH=$PATH:$SCALA_HOME/bin

下載Spark

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0-bin-hadoop2.6.tgz

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

tar xvf 文件名 //分別解壓hadoop 與 spark 壓縮包

rm -f filename //如果版本有誤需要刪除文件

vim .bash_profile //配置Spark 環境變量

export SPARK_HOME=/usr/spark/spark-1.4.0-bin-hadoop2.6
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.0/etc/hadoop
export PATH=PATH: SPARK_HOME/bin:HADOOPHOME/bin: HADOOP_HOME/sbin

source .bash_profile // 讓配置文件生效

// 修改spark 配置文件
cd /usr/spark/spark-1.4.0-bin-hadoop2.6/conf/

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

export SCALA_HOME=/usr/java/scala-2.11.11
export SPARK_MASTER_IP=shan
export SPARK_WORKER_MEMORY=712m
export JAVA_HOME=/usr/java/jdk1.7.0_80

// 配置配置slaves
cp slaves.template slaves
vim slaves //將localhost修改爲shan

//啓動master
spark-1.4.0-bin-hadoop2.6]$ sbin/start-master.sh