條件
採用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3
Spark集羣實驗環境共包含3臺服務器，每臺機器的主要參數如表所示：
| 服務器 | HOSTNAME | IP | 功能 |
|---|---|---|---|
| spark1 | spark1 | 92.16.17.1 | NN/DN/RM Master/Worker |
| spark2 | spark2 | 92.16.17.2 | DN/NM/Worker |
| spark3 | spark3 | 92.16.17.3 | DN/NM/Worker |
過程
- 設置服務器的HOSTNAME
在三臺服務器上分別設置服務器主機名稱，spark1 服務器設置如圖所示， spark2和spark3請自從完成。
![圖 1]()
注意：該項設置完成後，需重啓服務器方能生效 - 配置網卡參數
根據IP分配表的內容分別修改各主機的網卡配置文件，其中spark1如圖所示：
![圖 2]()
- 設置host映射文件
分別修改和主機的host文件如圖所示：
![圖 3]()
- 關閉防火牆
分別在三臺主機上永久關閉防火牆，spark1操作如圖所示：
![在這裏插入圖片描述]()
- 關閉SELINUX
分別在三臺主機上修改SELINUX參數爲disabled, spark1操作如 圖所示：
![圖 5]()
注意：SELINUX參數修改後需要重啓操作系統後才能生效 - 修改SSH配置文件
編輯 sshd_config 配置文件，將三個參數 RSAAuthentication,
PubkeyAuthentication, AuthorizedKeysFile的註釋撤銷掉，之後停止並再次啓動SSHD守護進程，如圖所示：
![在這裏插入圖片描述]()
![在這裏插入圖片描述]()
以上操作在spark1, spark2, spark3主機上均要執行 - 創建集羣所需用戶組及用戶
創建hadoop用戶組、hadoop用戶，並設置hadoop用戶的口令爲hadoop, 如圖所示：
![在這裏插入圖片描述]()
接着給hadoop用戶添加sudo權限，先給root用戶授予對sudoers文件的寫權限，在編輯sudoers文件，添加如圖所示的行：
![圖 8]()
![在這裏插入圖片描述]()
上述操作要在spark1, spark2, spark3三臺主機分別執行 - 創建集羣安裝目錄
分別在spark1, spark2, spark3三臺主機上創建集羣安裝目錄，並修改該目錄所有者爲hadoop, 其中spark1節點上的操作如圖所示：
![在這裏插入圖片描述]()
