Spark Standalone完全分佈模式

紅字部分來源於：董的博客

目前Apache Spark支持三種分佈式部署方式，分別是standalone、spark on mesos和 spark on YARN，其中，第一種類似於MapReduce 1.0所採用的模式，內部實現了容錯性和資源管理，後兩種則是未來發展的趨勢，部分容錯性和資源管理交由統一的資源管理系統完成：讓Spark運行在一個通用的資源管理系統之上，這樣可以與其他計算框架，比如MapReduce，公用一個集羣資源，最大的好處是降低運維成本和提高資源利用率（資源按需分配）。

建議先看下這個：Spark Standalone本地模式與僞分佈模式

Spark這個完全分佈式搭起來還是相當簡單的~

主要改兩個地方

1.

guo@drguo1:~$ cd /opt/spark-1.6.1-bin-hadoop2.6/conf/
guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6/conf$ cp spark-env.sh.template spark-env.sh

在spark-env.sh里加入JAVA_HOME然後把worker的cpu數，內存設置一下，你可以設置的大一點，我是在虛擬機裏裝的。其餘默認就可以了。

JAVA_HOME=/opt/Java/jdk1.8.0_73
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

2.

guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6/conf$ cp slaves.template slaves

你打算在哪幾個主機上放worker就在slaves里加入它的主機名

drguo2
drguo3

3.把整個spark目錄拷給drguo2/3

guo@drguo1:/opt$ scp -r spark-1.6.1-bin-hadoop2.6/ drguo2:/opt/
guo@drguo1:/opt$ scp -r spark-1.6.1-bin-hadoop2.6/ drguo3:/opt/

4.啓動master

guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6$ sbin/start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/spark-1.6.1-bin-hadoop2.6/logs/spark-guo-org.apache.spark.deploy.master.Master-1-drguo1.out
guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6$ jps
3602 Jps
3572 Master

5.啓動slaves

guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6$ sbin/start-slaves.sh 
guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6$ ssh drguo2
Welcome to Ubuntu 15.10 (GNU/Linux 4.2.0-16-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

Last login: Sun Apr 24 14:27:05 2016 from 192.168.80.149
guo@drguo2:~$ jps
2056 Worker
2139 Jps
guo@drguo2:~$ ssh drguo3
Welcome to Ubuntu 15.10 (GNU/Linux 4.2.0-16-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

Last login: Wed Apr 13 16:16:22 2016 from 192.168.80.149
guo@drguo3:~$ jps
2176 Jps
2087 Worker

瀏覽器查看drguo1:8080

也可以直接start-all.sh

要關閉的話start改成stop就可以了

啓動單個slave

1. guo@guo:/opt/spark-1.6.1-bin-hadoop2.6$ sbin/start-slave.sh  spark://drguo1:7077  
2. starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-1.6.1-bin-hadoop2.6/logs/spark-guo-org.apache.spark.deploy.worker.Worker-1-guo.out