花了半天時間標準化的又搭了一遍Hadoop三模式,記錄下心得

1. 本地模式總結


無論搭建那種模式,首先必備的是準備虛擬機,所以在搭建本地模式之前肯定要先準備一臺機器就行,對於準備虛擬機有這幾步:

(1) 修改主機名:


       修改文件在 "/etc/sysconfig/network" 目錄下,加入對應的內容即可,注意主機名後面別不小心輸入了一個空格,這是錯誤的。然後就是CentOS7 和 CentOS6 的區別了,很多學生現在都是在用7,但是學的視頻裏面很多老師是用的6操作的。對於二者,區別是在7中你修改完主機名之後,你要配置主機IP映射關係(在/etc/hosts文件裏面設置),否則主機名仍爲localhost。而6就不需要再修改主機IP映射文件,當然你修改了也沒事。 
 
(2)配置靜態IP

       關於靜態IP的設置,可能最大的問題就是你設置完靜態IP後不能上網了,其主要原因還是由於網關的問題。因爲網關是你連接萬維網的“中間人”,所以一定不能弄錯。參考這篇博客就行(不是打廣告):https://blog.csdn.net/qq_43437122/article/details/105907950

 

(3) 關閉防火牆

        防火牆沒啥說的,你設置爲不隨開機啓動就行,也即是執行下(注意是CentOS7)“systemctl disable firewalld”


(4)創建hadoop用戶,並賦予root操作權限  

        這個不會就去百度。

       準備好機器後就要考慮Hadoop、JDK的存儲位置了。建議是在opt目錄下創建module目錄(安裝路徑)和software目錄(存放軟件包),把原來的rh目錄刪除,並且將這兩個目錄的所屬用戶和所屬組改爲hadoop。然後就是安裝配置環境變量,easy!本地模式不用改任何配置文件,也不用格式化nn,直接在本地跑mr測試即可,它所存在的意義也就是調試方便。

 

2. 僞分佈模式

        相比較本地模式,除了準備一臺機器外,還需要配置配置文件,格式化nn...。配置文件的配置內容不必刻意去記,你知道在官網和jar包裏面能找到就行,知道要配置那幾個文件就可以了。格式化就是執行“hdfs namenode -format”命令,如果格式化失敗了,別急,就去看日誌,日誌會告訴你。成功之後,啓動HDFS和yarn可以練習練習命令,跑跑mr,此時的mr是運行在yarn上的。幾個端口號注意下,一個是50070 HDFS系統的端口號,還有一個是8088 Yarn的端口號。

         在僞分佈式階段,還可以設置歷史服務器用來查看你運行過的job情況,還可以配置日誌的聚集,程序運行完之後會把日誌上傳到HDFS上,方便查看程序的運行詳情。服務器的web端口爲19888。


3. 完全分佈式

          建議你拷貝之前搭建的僞分佈式機器,至少拷貝三臺機器。三臺機器你要重新配置靜態IP和主機名,關於靜態IP的配置:如果你是CentOS7的話,直接修改網卡配置文件裏面的IP地址即可,當然你要想重新爲網卡生成一個UUID也可以。對於CentOS6,它在拷貝之後會記錄之前機器的網卡信息,你需要先進入到“/etc/udev/rules.d/70...直接table就行”文件,刪掉之前網卡的信息(第一條就是),然後再將新生成的信息的網卡名改爲eth0,並複製它的UUID,然後進入到網卡配置文件,先覆蓋掉原來的網卡的UUID,然後在修改IP即可。

          然後就是三臺機器你要規劃好,例如nn和2nn是不能放在一臺機器上的,因爲他兩是平分資源,如果在一臺機器上,那NameNode的磁盤空間就只有當前機器的一半,當然不行。resourcemanager也要單獨放在一臺機器上,和他們兩個分開,因爲它也比較耗費資源,重點是之後你在啓動yarn的時候要在resourcemanager所在的機器上啓動。

          其它的沒啥了,按照你找到的教程搭建就行。加油!!!!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章