spark单机搭建

前提条件

jdk安装完成

hadoop2.6安装完成

一、安装Scala 

1、http://www.scala-lang.org/download/

下载与Spark版本对应的Scala。Spark1.4对应于Scala2.10的版本。这里下载scala-2.10.3.tgz。 

2、解压安装Scala 

1）将scala-2.10.3.tgz上传到/hadoop目录下面

2）cd  /hadoop

3 ) tar -zxvf scala-2.10.3.tgz，解压到/hadoop/scala-2.10.3。

4）mv  scala-2.10.3 scala

5）vim /etc/profile

在/etc/profile中添加如下配置：

#============= scala env ===========
export SCALA_HOME=/hadoop/scala
export PATH=$PATH:$SCALA_HOME/bin

6）使环境变量生效，#source /etc/profile 

3、验证安装，在命令行中输入scala命令，可以进入scala命令控制台。

# scala

scala> 

二、安装Spark 

1、到http://spark.apache.org/downloads.html下载spark-1.4.0-bin-hadoop2.6.tgz，解压到/hadoop/spark-1.4.0-bin-hadoop2.6.tgz。 

1) tar -zxvf spark-1.4.0-bin-hadoop2.6.tgz

解压后/hadoop/spark-1.4.0-bin-hadoop2.6

2) mv spark-1.4.0-bin-hadoop2.6.tgz spark

3）vim /etc/profile

在/etc/profile中添加如下配置：

#============= spark env ===========

export SPARK_HOME=/hadoop/spark

export PATH=$PATH:$SPARK_HOME/bin

4）使环境变量生效，#source /etc/profile 

三、配置Spark 

1、进入Spark的配置文件路径，#cd $SPARK_HOME/conf 

2、执行，#mv spark-env.sh.template spark-env.sh 

3、vim spark-env.sh在spark-env.sh文件中添加如下配置：

export JAVA_HOME=/usr/local/jdk1.7.0_72

export SCALA_HOME=/hadoop/scala

export HADOOP_CONF_DIR=/hadoop/hadoop-2.6.0/etc/hadoop

五，启动Spark 

1、进入spark的安装路径，#cd /hadoop/spark/sbin

2、执行#./start-all.sh命令 

3、执行 #jps命令，会有Master和Worker进程

# jps

3734 NodeManager
3642 ResourceManager
4286 Worker
4540 Jps
4107 Master
3498 SecondaryNameNode

3229 NameNode

3321 DataNode

4，进入Spark的Web界面：http://192.168.6.135:8080/

5任务执行页面

1）cd /hadoop/spark/bin

2）执行，#./spark-shell命令，可以进入Spark的shell环境，

3）可以通过http://192.168.6.135:4040/，看到SparkUI的情况。