spark集羣配置

說明：這個集羣是基於hdfs的一個三個節點的集羣配置
節點：192.168.128  nl01    ---master
 192.168.1.2 nl02      --slave
 192.168.1.3 nl03      --slave


一． 配置jdk scala 








二． 配置zookeeper






三． 配置hadoop 集羣








四． 配置spark集羣
 配置spark-env.sh




cp spark-env.sh.template spark-env.sh


vi conf/spark-env.sh


<!---
#基本配置jdk scal hdfs
JAVA_HOME=/home/hadoop/app/jdk1.8.0_73
JRE_HOME=$JAVA_HOME/jre
SCALA_HOME=/home/hadoop/app/scala-2.10.4
HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.4.0/etc/hadoop




#集羣的基本配置
SPARK_MASTER_IP=nl01
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1000M
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1


--->


 配置spark-defaults.conf
cp spark-defaults.conf.template spark-default.conf


vi spark-defaults.conf


#增加mask ip
spark.master                     spark://nl01:7077


 配置slaves 
scp  slaves.template slaves
vi slaves


#增加slaves
nl02
nl03


 拷貝：
scp -r spark--bin-2.6.0-cdh5.4.0/ nl02:/home/hadoop/app/
scp -r spark--bin-2.6.0-cdh5.4.0/ nl03:/home/hadoop/app/


啓動master 
./bin/start-master.sh
啓動workers
./bin/start-slaves.sh


 測試：
1. 訪問：http://nl01:8080查看Workers
2. 執行spark-shell進入命令行
運行val textFile = sc.textFile("README.md")
textFile.count()
查看 是否得到正確的結果，