hadoop:分佈式集羣參數master節點的配置!

之前的文章中我們已經將master節點的網絡IP、hostname文件、hosts文件配置完成,接下來還有hadoop相關配置文件需要修改。今天我們來講master節點hadoop的配置。

 

1、hdfs-site.xml

在hadoop的配置文件中與HDFS(hadoop分佈式文件系統)相關的是hdfs-core.xml文件。在僞分佈集羣中只有一個節點,因此此節點即要有NameNode功能也要有DataNode功能。在工作環境中這兩個是不會在一個節點上的,在我們的多節點分佈式集羣中master只運行NameNode因此需在hdfs-site.xml文件中刪除DataNode相關配置。

 

    打開虛擬機在終端中輸入cd hadoop/etc/hadoop 命令進入hadoop配置文件目錄。

 

 

終端輸入命令vim hdfs-site.xml進入vim編輯界面,按下圖步驟刪除原來僞分佈集羣配置的DataNode相關配置,並將數據冗餘數量設置爲2。

 

 

輸入i進入編輯模式,編輯後的文件內容如下所示。

 

 

最後退出編輯模式,保存並退出。

2、core-site.xml

在core-site.xml中指定一個節點運行hdfs服務。在之前僞分佈集羣中只有一個節點,因此我們使用的是localhost,如今在集羣中有三個節點,我們約定使用master。

在終端中輸入vim core-site.xml按下圖操作修改配置文件。

 

 

修改後內容如下所示

 

 

記得退出並保存。

3、yarn-site.xml

在yarn-site.xml裏可以修改與資源管理模塊YARN相關的一些配置。

終端中輸入 vim yarn-site.xml進行以下更改,將資源調度管理任務放置於master節點上

最終修改後的文件內容如下圖所示。

 

 

4、mapred-site.xml

進行以下更改,主要添加mapreduce運行歷史記錄監控端口和網頁端口。

同樣,在終端輸入vim mapred-site.xml開始編輯配置文件,配置內容如下所示

 

 

最後保存並退出。

5、slaves

slaves文件指明哪些節點運行DateNode進程,這裏我們的集羣中運行DataNode進程的節點有slave1、slave2。因此需將這兩節點保存到slaves文件中。

在終端中輸入 vim slaves命令編輯文件,編輯後的文件內容如下圖所示。

 

 

最後保存slaves文件並退出編輯。到這裏master節點上的hadoop相關配置已經完成了。

接下來我們要通過克隆master及slave1虛擬機來擴展集羣。

6、生成slave1節點

通過克隆master 生成slave1節點的過程與之前克隆僞分佈節點的操作是一致的這裏不再贅述,唯一區別是在執行到下圖步驟時注意將虛擬機名稱設置爲slave1並選擇正確的存儲位置方便管理。還有一點,被克隆的虛擬機一定要關機狀態纔可以被克隆。

 

 

slave1節點與master節點在hostname、IP地址、Hadoop配置這幾個方面是有些差異的,在複製好slave1節點之後需進行配置。

6.1 配置IP地址

在前面文章中提到過slave1節點IP地址應設置爲固定的值:192.168.79.12。詳細的配置方法步驟已經在配置master節點時介紹過,配置slave1節點時可以參考一下。修改完成後的配置結果如下圖所示,點擊save保存即可。

 

 

6.2、修改hostname

 

 

 

保存並退出

6.3、修改Hadoop配置項

   hdfs-site.xml

 

 

 

保存並退出之後重啓slave1節點查看配置是否生效。

 

 

 

7、生成slave2節點

Slave2與slave1在Hadoop相關配置內容上是一致的,因此通過克隆slave1節點來生成slave2可以減少一些操作步驟。

克隆slave1節點時的操作步驟同樣參考之前文章內容,區別是執行到下圖步驟時記得更改虛擬機名稱爲slave2並更改存儲目錄(存儲目錄自己定義)。

 

 

7.1、配置IP地址         

克隆完成後打開slave2虛擬機並配置其IP地址。配置過程與之前配置master節點IP過程一致,只是IP地址需改爲192.168.79.13結果如下圖所示,點擊save保存即可。

 

 

更改Hostname,在終端中輸入sudo vim /etc/hostname並回車執行,根據提示輸入密碼

 

 

輸入i編輯hostname文件,文件內容如下所示爲slave2,然後保存退出。

 

 

   重啓虛擬機測試配置是否生效,重啓命令爲sudo reboot

 

 

slave2重新啓動後打開終端,輸入命令ifconfig查看IP設置及虛擬機名,如下圖所示配置已經生效。

 

 

到這裏我們的hadoop集羣安裝配置完成。接下來的文章我會給大家介紹一下hadoop集羣如如何啓動。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章