spark單機搭建

前提條件

jdk安裝完成

hadoop2.6安裝完成

一、安裝Scala 

1、http://www.scala-lang.org/download/

下載與Spark版本對應的Scala。Spark1.4對應於Scala2.10的版本。這裏下載scala-2.10.3.tgz。 

2、解壓安裝Scala 

1）將scala-2.10.3.tgz上傳到/hadoop目錄下面

2）cd  /hadoop

3 ) tar -zxvf scala-2.10.3.tgz，解壓到/hadoop/scala-2.10.3。

4）mv  scala-2.10.3 scala

5）vim /etc/profile

在/etc/profile中添加如下配置：

#============= scala env ===========
export SCALA_HOME=/hadoop/scala
export PATH=$PATH:$SCALA_HOME/bin

6）使環境變量生效，#source /etc/profile 

3、驗證安裝，在命令行中輸入scala命令，可以進入scala命令控制檯。

# scala

scala> 

二、安裝Spark 

1、到http://spark.apache.org/downloads.html下載spark-1.4.0-bin-hadoop2.6.tgz，解壓到/hadoop/spark-1.4.0-bin-hadoop2.6.tgz。 

1) tar -zxvf spark-1.4.0-bin-hadoop2.6.tgz

解壓後/hadoop/spark-1.4.0-bin-hadoop2.6

2) mv spark-1.4.0-bin-hadoop2.6.tgz spark

3）vim /etc/profile

在/etc/profile中添加如下配置：

#============= spark env ===========

export SPARK_HOME=/hadoop/spark

export PATH=$PATH:$SPARK_HOME/bin

4）使環境變量生效，#source /etc/profile 

三、配置Spark 

1、進入Spark的配置文件路徑，#cd $SPARK_HOME/conf 

2、執行，#mv spark-env.sh.template spark-env.sh 

3、vim spark-env.sh在spark-env.sh文件中添加如下配置：

export JAVA_HOME=/usr/local/jdk1.7.0_72

export SCALA_HOME=/hadoop/scala

export HADOOP_CONF_DIR=/hadoop/hadoop-2.6.0/etc/hadoop

五，啓動Spark 

1、進入spark的安裝路徑，#cd /hadoop/spark/sbin

2、執行#./start-all.sh命令 

3、執行 #jps命令，會有Master和Worker進程

# jps

3734 NodeManager
3642 ResourceManager
4286 Worker
4540 Jps
4107 Master
3498 SecondaryNameNode

3229 NameNode

3321 DataNode

4，進入Spark的Web界面：http://192.168.6.135:8080/

5任務執行頁面

1）cd /hadoop/spark/bin

2）執行，#./spark-shell命令，可以進入Spark的shell環境，

3）可以通過http://192.168.6.135:4040/，看到SparkUI的情況。