之前的文章中我們已經將master節點的網絡IP、hostname文件、hosts文件配置完成,接下來還有hadoop相關配置文件需要修改。今天我們來講master節點hadoop的配置。
1、hdfs-site.xml
在hadoop的配置文件中與HDFS(hadoop分佈式文件系統)相關的是hdfs-core.xml文件。在僞分佈集羣中只有一個節點,因此此節點即要有NameNode功能也要有DataNode功能。在工作環境中這兩個是不會在一個節點上的,在我們的多節點分佈式集羣中master只運行NameNode因此需在hdfs-site.xml文件中刪除DataNode相關配置。
打開虛擬機在終端中輸入cd hadoop/etc/hadoop 命令進入hadoop配置文件目錄。
終端輸入命令vim hdfs-site.xml進入vim編輯界面,按下圖步驟刪除原來僞分佈集羣配置的DataNode相關配置,並將數據冗餘數量設置爲2。
輸入i進入編輯模式,編輯後的文件內容如下所示。
最後退出編輯模式,保存並退出。
2、core-site.xml
在core-site.xml中指定一個節點運行hdfs服務。在之前僞分佈集羣中只有一個節點,因此我們使用的是localhost,如今在集羣中有三個節點,我們約定使用master。
在終端中輸入vim core-site.xml按下圖操作修改配置文件。
修改後內容如下所示
記得退出並保存。
3、yarn-site.xml
在yarn-site.xml裏可以修改與資源管理模塊YARN相關的一些配置。
終端中輸入 vim yarn-site.xml進行以下更改,將資源調度管理任務放置於master節點上
最終修改後的文件內容如下圖所示。
4、mapred-site.xml
進行以下更改,主要添加mapreduce運行歷史記錄監控端口和網頁端口。
同樣,在終端輸入vim mapred-site.xml開始編輯配置文件,配置內容如下所示
最後保存並退出。
5、slaves
slaves文件指明哪些節點運行DateNode進程,這裏我們的集羣中運行DataNode進程的節點有slave1、slave2。因此需將這兩節點保存到slaves文件中。
在終端中輸入 vim slaves命令編輯文件,編輯後的文件內容如下圖所示。
最後保存slaves文件並退出編輯。到這裏master節點上的hadoop相關配置已經完成了。
接下來我們要通過克隆master及slave1虛擬機來擴展集羣。
6、生成slave1節點
通過克隆master 生成slave1節點的過程與之前克隆僞分佈節點的操作是一致的這裏不再贅述,唯一區別是在執行到下圖步驟時注意將虛擬機名稱設置爲slave1並選擇正確的存儲位置方便管理。還有一點,被克隆的虛擬機一定要關機狀態纔可以被克隆。
slave1節點與master節點在hostname、IP地址、Hadoop配置這幾個方面是有些差異的,在複製好slave1節點之後需進行配置。
6.1 配置IP地址
在前面文章中提到過slave1節點IP地址應設置爲固定的值:192.168.79.12。詳細的配置方法步驟已經在配置master節點時介紹過,配置slave1節點時可以參考一下。修改完成後的配置結果如下圖所示,點擊save保存即可。
6.2、修改hostname
保存並退出
6.3、修改Hadoop配置項
hdfs-site.xml
保存並退出之後重啓slave1節點查看配置是否生效。
7、生成slave2節點
Slave2與slave1在Hadoop相關配置內容上是一致的,因此通過克隆slave1節點來生成slave2可以減少一些操作步驟。
克隆slave1節點時的操作步驟同樣參考之前文章內容,區別是執行到下圖步驟時記得更改虛擬機名稱爲slave2並更改存儲目錄(存儲目錄自己定義)。
7.1、配置IP地址
克隆完成後打開slave2虛擬機並配置其IP地址。配置過程與之前配置master節點IP過程一致,只是IP地址需改爲192.168.79.13結果如下圖所示,點擊save保存即可。
更改Hostname,在終端中輸入sudo vim /etc/hostname並回車執行,根據提示輸入密碼
輸入i編輯hostname文件,文件內容如下所示爲slave2,然後保存退出。
重啓虛擬機測試配置是否生效,重啓命令爲sudo reboot
slave2重新啓動後打開終端,輸入命令ifconfig查看IP設置及虛擬機名,如下圖所示配置已經生效。
到這裏我們的hadoop集羣安裝配置完成。接下來的文章我會給大家介紹一下hadoop集羣如如何啓動。