安裝Spark，搭建僞分佈式和完全分佈式（3節點）

搭建僞分佈式

解壓縮文件
tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/

因爲spark和hadoop的目錄結構相似，都有bin和sbin目錄，爲了防止衝突，就不配合環境變量了

進入conf目錄，對配置文件重命名
mv spark-env.sh.template spark-env.sh

進入配置文件
vi spark-env.sh
shift+G跳到最後一行
增加配置

export JAVA_HOME=/opt/module/jdk1.8.0_144
export SPARK_MASTER_HOST=bigdata2
export SPARK_MASTER_PORT=7077

對slaves.template文件重命名

將文件最後一行的localhost改爲自己的主機名

保存完畢之後，啓動spark
jps查看進程有Master和Worker進程

然後就可以通過瀏覽器訪問8080頁面

搭建完全分佈式

搭建完全分佈式之前，需要把僞分佈式的服務先停掉
sbin/stop-all.sh
還需要關閉防火牆與SSH免密登錄

將slaves的最後一行改爲想要的子節點名（ip）即可,別的都跟主節點之前的配置一樣

主節點啓動集羣
sbin/start-all.sh