spark2.0+hadoop2.7.1簡單部署

保證hadoop已經正常部署，以下爲spark部署做個小筆記：
1、安裝scala-2.11.8.tgz

1)tar -xvzf scala-2.11.8
mv scala-2.11.8 /usr
2)配置環境變量,在/etc/profile 中添加如下語句：
export SCALA_HOME=/usr/scala-2.11.8
export PATH=PATH: SCALA_HOME/bin

2、安裝spark

在 master上做如下動作：
1) tar -xzvf spark-2.0.0-bin-hadoop2.7.tgz
mv spark-2.0.0-bin-hadoop2.7 /usr/spark2.0
配置環境變量：（/etc/profile）
export SPARK_HOME=/usr/spark2.0
export PATH=PATH: SPARK_HOME/bin
2) 配置spark環境（spark2.0/conf）下
配置spark-env.sh文件：
mv spark-env.sh.template spark-env.sh
在spark-env.sh 中添加：

    export SCALA_HOME=/usr/scala-2.11.8
    export JAVA_HOME=/usr/java
    export HADOOP_HOME=/usr/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_MASTER_IP=master

配置slaves 文件：

mv slaves.template slaves
在slaves中增加從節點
node1
node2

3) 將 /etc/profile 和 spark2.0文件夾拷貝至 從節點
scp -r spark2.0 node1:/home/hadoop

2、運行實例
運行spark自帶的LocalPi實例：
進入spark 的bin目錄，找到run-example.sh,輸入如下命令：

hadoop@master:/usr/spark2.0/bin$ ./run-example org.apache.spark.examples.LocalPi spark://master:7077
Pi is roughly 3.14496