spark集羣搭建

Spark集羣環境搭建

2015年09月27日中秋節，祝中秋快樂團圓

1安裝jdk

略

2安裝scala

在http://www.scala-lang.org scala官網下載安裝包，這裏以scala-2.11.7爲例：

1）下載scala-2.11.7.tgz

2）在目錄下解壓縮：

tar -xzvf scala-2.11.7.tgz

 

3）配置環境變量，在/etc/profile中添加以下的內容：

export SCALA_HOME=實際安裝路徑

 

export PATH=${SCALA_HOME}/bin:PATH

4) 使profile立即生效

Source /etc/profile

 

3配置SSH免密碼登陸

略

 4安裝hadoop

略

 

5安裝spark

下載 spark-1.0.0-bin-hadoop2.tgz

解壓 tar -xzvf spark-1.0.0-bin-hadoop2.tgz

配置conf/spark-env.sh文件

 

export JAVA_HOME=/home/spark/jdk1.7.0_45

export SCALA_HOME=/usr/etc/scala/scala-2.11.7

export SPARK_WORKER_MEMORY=2g

export MASTER=spark://192.168.217.140:7077

export SPARK_MASTER_IP=192.168.217.140

所有紅色配置以實際安裝路徑爲準

6啓動集羣

./sbin/start-all.sh

 

7測試

sh spark-submit --master spark://192.168.217.140:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi --executor-memory 400M --driver-memory 512M /usr/etc/spark/spark-1.0.0-bin-hadoop2/lib/spark-examples-1.0.0-hadoop2.2.0.jar

Master（紅色）用主機名的時候怎麼都不行，換成master的ip地址就行了