Hadoop+Spark 集羣部署

研究了幾天 Hadoop+Spark 集羣部署，雖然現在還是有點不懂（一臉懵B），想寫下自己的總結，日後有新的發現再補充。

我安裝時候的參考教程：

http://www.powerxing.com/install-hadoop/

http://www.powerxing.com/install-hadoop-cluster/

總結一下，工作分爲那麼幾個步驟：（對於所有機器）

A:安裝scala（比較簡單）

B:配置hadoop：

1.創建hadoop用戶

2.安裝JAVA環境（主要配置 JAVA_HOME 環境變量）

3.選擇一臺機器作爲Master （機器集羣的羣長），配置Master ssh ，可以ssh免密登錄其他機器

4.解壓hadoop到/usr/local

5.將hadoop文件夾所屬者設置爲hadoop

6.修改Hadoop的配置文件 ，在/etc/hadoop/下

7.修改hosts文件 （/etc/hosts），讓大家能通過名字互相溝通

8.啓動hadoop集羣

C:配置spark：

1.解壓spark

2.修改spark配置文件(slaves ........)

3.啓動spark