Hadoop2.2.0+HA+zookeeper3.4.5+體系結構+錯誤處理
心血之作,在熟悉hadoop2架構的過程耽誤了太長時間,在搭建環境過程遇到一些問題,這些問題一直卡在那兒,不得以解決,耽誤了時間。最後,千尋萬尋,把問題解決,多謝在過程提供幫助的大俠。這篇文章中,我也會把自己遇到的問題給列出來,幫助後來者進一步的學習。
這篇文章結合自己實際測試過程。轉載註明出處:
http://blog.csdn.net/yczws1/article/details/23566383
前言
本文主要通過對hadoop2.2.0集羣配置的過程加以梳理,所有的步驟都是通過自己實際測試。文檔的結構也是根據自己的實際情況而定,同時也會加入自己在實際過程遇到的問題。搭建環境過程不重要,重要點在於搭建過程中遇到的問題,解決問題的過程。
可能自己遇到的問題在一些由經驗的老者手上都不是問題,但是這些問題着實讓自己耽誤了很長時間,最後問題解決也是費了太大心血。也通過這篇文檔,表現出來,算是總結,爲後者提供意見。
Hadoop2.2.0體系結構
要想理解本節內容,首先需要了解hadoop1的體系結構。這裏不過多的介紹基於hadoop1的體系架構,早在之前,曾搭建hadoop1.2.1僞分佈式集羣,詳細請看hadoop學習(一)hadoop-1.2.1僞分佈式配置及遇到的問題。這裏主要介紹hadoop2的體系架構。
hadoop1的核心組成是兩部分,即HDFS和MapReduce。在hadoop2中變爲HDFS和Yarn。
新的HDFS中的NameNode不再是隻有一個了,可以有多個(目前只支持2個)。每一個都有相同的職能。
這兩個NameNode的地位如何:一個是active狀態的,一個是standby狀態的。當 集羣運行時,只有active狀態的NameNode是正常工作的,standby狀態的NameNode是處於待命狀態的,時刻同步active狀態 NameNode的數據。一旦active狀態的NameNode不能工作,通過手工或者自動切換,standby狀態的NameNode就可以轉變爲 active狀態的,就可以繼續工作了。這就是高可靠。
當NameNode發生故障時,他們的數據如何保持一致:在這裏,2個NameNode的數據其實是實時共享的。新HDFS採用了一種共享機制,JournalNode集羣或者NFS進行共享。NFS是操作系統層面的,JournalNode是hadoop層面的,我們這裏使用JournalNode集羣進行數據共享。
如何實現NameNode的自動切換:這就需要使用ZooKeeper集羣進行選擇了。HDFS集羣中的兩個NameNode都在ZooKeeper中註冊,當active狀態的NameNode出故障時,ZooKeeper能檢測到這種情況,它就會自動把standby狀態的NameNode切換爲active狀態。
HDFS Federation(HDFS聯盟):聯盟的出現是有原因的。我們知道 NameNode是核心節點,維護着整個HDFS中的元數據信息,那麼其容量是有限的,受制於服務器的內存空間。當NameNode服務器的內存裝不下數據後,那麼HDFS集羣就裝不下數據了,壽命也就到頭了。因此其擴展性是受限的。HDFS聯盟指的是有多個HDFS集羣同時工作,那麼其容量理論上就不受限了,誇張點說就是無限擴展。你可以理解成,一個總集羣中,可以虛擬出兩個或兩個以上的單獨的小集羣,各個小集羣之間數據是實時共享的。因爲hadoop集羣中已經不在單獨存在namenode和datanode的概念。當一個其中一個小集羣出故障,可以啓動另一個小集羣中的namenode節點,繼續工作。因爲數據是實時共享,即使namenode或datanode一起死掉,也不會影響整個集羣的正常工作。
集羣節點任務安排:
這點很重要,我們事先一定要先理解,節點之間任務是如何安排的。如果事先不理解爲什麼是這樣,後面還會遇到更多的問題。這就需要,理解journalnode、zookeeper、datanode、namenode之間關係。自己也是在這上面耽誤了很長時間,希望讀者這點多注意下。
6臺主機。
Journalnode和zookeeper保持奇數點,這點大家要有個概念,最少不少於3個節點。這裏暫不講解。
兩個namenode上面已經說明,其實在hadoop2中幾點之間namenode和datanode之間的劃分已經不是那麼明確了。這只是採用後4臺機器作爲namenode。這裏也存在一個問題:如果把datanode和namenode放在一起,對數據的讀取IO的效率肯定會有一定的影響,不同機器之間還是要通過網線和http請求完成數據之間的共享。實際中,兩者是可以在一起。但是我不知道在一起和不在一起之間的主要區別在哪兒,上面的解釋只是個人意見,如果讀者有更好的意見可以留言,大家一起討論。
在集羣搭建之間,各主機設置靜態IP、更改主機名稱、主機之間ssh互聯等相關設置這裏不在多講。如有需要,請參考:hadoop學習(五)Hadoop2.2.0完全分佈式安裝詳解(1)配置文檔。
下面就進入正式的集羣的安裝過程:
下面所有的過程都是在hadoop1機器上完成的,之後把文件複製到其他節點中。
Zookeeper安裝過程:
1、下載解壓zookeeper
下載地址:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/
解壓到指定目錄:這裏目錄:/home/tom/yarn/hadoop-2.2.0/app/
在hadoop目錄中創建app目錄。把文件解壓到hadoop的app目錄中,是爲了以後整個項目可以整體移植。包括後面,我們會安裝HBase、Hive等軟件,都是解壓到app的目錄中。
2、修改配置文件
2.1進入zookeeper中conf目錄:
拷貝命名zoo_sample.cfg 爲zoo.cfg。我們一般不修改配置文件默認的示例文件,修改賦值其子文件。
編輯zoo.cfg
- tickTime=2000
- initLimit=10
- syncLimit=5
- dataDir=/home/tom/yarn/hadoop-2.2.0/app/zookeeper-3.4.5/zkdata
- dataLogDir=/home/tom/yarn/hadoop-2.2.0/app/zookeeper-3.4.5/zkdatalog
- clientPort=2181
- server.1=hadoop1:2888:3888
- server.2=hadoop2:2888:3888
- server.3=hadoop3:2888:3888
- server.4=hadoop4:2888:3888
- server.5=hadoop5:2888:3888
2.2創建zkdata和zkdatalog兩個文件夾
在zookeeper的目錄中,創建上述兩個文件夾。進入zkdata文件夾,創建文件myid,填入1。這裏寫入的1,是在zoo.cfg文本中的server.1中的1。當我們把所有文件都配置完畢,我們把hadoop1中yarn目錄複製到其它機器中,我們在修改每臺機器中對應的myid文本,hadoop2中的myid寫入2。其餘節點,安照上面配置,依此寫入相應的數字。Zkdatalog文件夾,是爲了指定zookeeper產生日誌指定相應的路徑。
3、添加環境變量
本機環境變量添是在/etc/profile目錄中添加的。
- export ZOOKEEPER_HOME=/home/tom/yarn/hadoop-2.2.0/app/zookeeper-3.4.5
- PATH=$ZOOKEEPER_HOME/bin:$PATH
添加ZOOKEEPER_HOME/bin目錄可以在原有的PATH後面加入
:$ZOOKEEPER_HOME/bin
關於環境變量修改/etc目錄下的profile文件,也可以在根目錄下的.bashrc目錄下添加環境變量。這兩者有什麼區別:.bashrc是對當前目錄用戶的環境變量,profile文件是對所有用戶都開放的目錄。當系統加載文件中,先從profile找相應的路勁,如果沒有會在.bashrc文件中找對應的環境變量路徑。這兩者大家稍至瞭解。
然後 source /etc/profile
上面3個步驟就安裝zookeeper完畢。然後就是測試zookeeper,這個放到後面等hadoop1上整體配置完畢,scp到其它主機上後,再一起測試。
Hadoop配置
1、下載解壓hadoop2.2.0
路徑:http://apache.dataguru.cn/hadoop/common/hadoop-2.2.0/
解壓到:/home/tom/yarn/下。其實這一步應該在解壓zookeeper之前。不再多講。
2、修改配置文件
這裏要修改配置文件一共包括6個,分別是在hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、 yarn-site.xml和slaves。
修改文件的目錄地址:/home/tom/yarn/hadoop-2.2.0/etc/hadoop/
2.1文件hadoop-env.sh
添加jdk環境變量:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45
2.2文件coer-site.xml
- <configuration>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://cluster1</value>
- </property>
- 【這裏的值指的是默認的HDFS路徑。這裏只有一個HDFS集羣,在這裏指定!該值來自於hdfs-site.xml中的配置】
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/tom/yarn/yarn_data/tmp</value>
- </property>
- 【這裏的路徑默認是NameNode、DataNode、JournalNode等存放數據的公共目錄。用戶也可以自己單獨指定這三類節點的目錄。這裏的yarn_data/tmp目錄與文件都是自己創建的】
- <property>
- <name>ha.zookeeper.quorum</name>
- <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
- </property>
- 【這裏是ZooKeeper集羣的地址和端口。注意,數量一定是奇數,且不少於三個節點】
- </configuration><span style="font-size:14px;"><span style="font-family:宋體;"></span></span>
2.3文件hdfs-site.xml
- 重點核心文件:
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>2</value>
- </property>
- 【指定DataNode存儲block的副本數量。默認值是3個,我們現在有4個DataNode,該值不大於4即可。】
- <property>
- <name>dfs.permissions</name>
- <value>false</value>
- </property>
- <property>
- <name>dfs.permissions.enabled</name>
- <value>false</value>
- </property>
- <property>
- <name>dfs.nameservices</name>
- <value>cluster1</value>
- </property>
- 【給hdfs集羣起名字】
- <property>
- <name>dfs.ha.namenodes.cluster1</name>
- <value>hadoop1,hadoop2</value>
- </property>
- 【指定NameService是cluster1時的namenode有哪些,這裏的值也是邏輯名稱,名字隨便起,相互不重複即可】
- <property>
- <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
- <value>hadoop1:9000</value>
- </property>
- 【指定hadoop101的RPC地址】
- <property>
- <name>dfs.namenode.http-address.cluster1.hadoop1</name>
- <value>hadoop1:50070</value>
- </property>
- 【指定hadoop101的http地址】
- <property>
- <name>dfs.namenode.rpc-address.cluster1.hadoop2</name>
- <value>hadoop2:9000</value>
- </property>
- <property>
- <name>dfs.namenode.http-address.cluster1.hadoop2</name>
- <value>hadoop2:50070</value>
- </property>
- <property>
- <name>dfs.namenode.servicerpc-address.cluster1.hadoop1</name>
- <value>hadoop1:53310</value>
- </property>
- <property>
- <name>dfs.namenode.servicerpc-address.cluster1.hadoop2</name>
- <value>hadoop2:53310</value>
- </property>
- <property>
- <name>dfs.ha.automatic-failover.enabled.cluster1</name>
- <value>true</value>
- </property>
- 【指定cluster1是否啓動自動故障恢復,即當NameNode出故障時,是否自動切換到另一臺NameNode】
- <!--指定JournalNode -->
- <property>
- <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485;hadoop4:8485;hadoop5:8485/cluster1</value>
- </property>
- 【指定cluster1的兩個NameNode共享edits文件目錄時,使用的JournalNode集羣信息】
- <property>
- <name>dfs.client.failover.proxy.provider.cluster1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
- </property>
- 【指定cluster1出故障時,哪個實現類負責執行故障切換】
- <property>
- <name>dfs.journalnode.edits.dir</name>
- <value>/home/tom/yarn/yarn_data/tmp/journal</value>
- </property>
- 【指定JournalNode集羣在對NameNode的目錄進行共享時,自己存儲數據的磁盤路徑。tmp路徑是自己創建,journal是啓動journalnode自動生成】
- <property>
- <name>dfs.ha.fencing.methods</name>
- <value>sshfence</value>
- </property>
- 【一旦需要NameNode切換,使用ssh方式進行操作】
- <property>
- <name>dfs.ha.fencing.ssh.private-key-files</name>
- <value>/home/tom/.ssh/id_rsa</value>
- </property>
- 【如果使用ssh進行故障切換,使用ssh通信時用的密鑰存儲的位置】
- <property>
- <name>dfs.ha.fencing.ssh.connect-timeout</name>
- <value>10000</value>
- </property>
- <property>
- <name>dfs.namenode.handler.count</name>
- <value>100</value>
- </property>
- </configuration>
2.4文件mapred-site.xml
- <configuration>
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- </configuration>
- 【指定運行mapreduce的環境是yarn,與hadoop1不同的地方】
2.5文件yarn-site.xml
- <configuration>
- <property>
- <name>yarn.resourcemanager.hostname</name>
- <value>hadoop1</value>
- </property>
- 【自定義ResourceManager的地址,還是單點】
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce.shuffle</value>
- </property>
- </configuration>
2.6文件slaves
添加:這裏指定哪臺機器是datanode,這裏指定4臺機器。你甚至可以把集羣所有機器都當做datanode
- hadoop3
- hadoop4
- hadoop5
- hadoop6
3、添加環境變量
環境變量的添加方法大都相同。這裏給出我所有環境變量配置,大家可以根據自己的需要參考一下。
這裏我們只要添加HADOOP_HOME環境變量。
- JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
- export PATH=$PATH:$JAVA_HOME/bin
- export HBASE_HOME=/home/tom/hadoop-2.2.0/app/hbase-0.94.6-cdh4.4.0
- export HIVE_HOME=/home/tom/hadoop-2.2.0/app/hive-0.12.0/
- export HADOOP_HOME=/home/tom/hadoop-2.2.0
- export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
- export ZOOKEEPER_HOME=/home/tom/yarn/hadoop-2.2.0/app/zookeeper-3.4.5
- export PATH=$PATH:$ZOOKEEPER_HOME/bin
4、複製到其它節點
在hadoop的的根目錄下(即:/home/tom目錄下):因爲我們所有的環境都裝載在hadoop1的tom目錄下。
執行:
- scp -r yarn hadoop2:/home/tom
- scp -r yarn hadoop3:/home/tom
- scp -r yarn hadoop4:/home/tom
- scp -r yarn hadoop5:/home/tom
- scp -r yarn hadoop6:/home/tom
注意點:
1、因爲我們是把整個yarn目錄複製到其他節點中,zookeeper也包含在內。事先我們定義zookeeper是在1-5臺機器上部署。這裏我們雖然把zookeeper拷貝到6機器中,但是我們再zookeeper配置文件中沒有配置6機器的節點,在啓動zookeeper的時候,6機器也不需要啓動。
2、現在要做的是進入zookeeper目錄下的zkdata目錄,修改myid文件:各個myid內容對應zoo.cfg文件中server對應的編號。
按照上面的3個大步驟,以及在註釋中自己要創建的文件夾,指定相應的路徑之後,整體的hadoop環境算是搭建完畢。下面就是等測試。
看似簡單的不能再簡單的搭建過程,這是你弄明白之後的事情。在從hadoop1到2之間的過度,主要的變化是namenode和mapreduce到yarn架構之間的變化。就在這簡單的配置過程中,加上可參考網上衆多配置教程,也耽誤了太長時間。不是文件難配置,而是在出現問題,不知道怎麼解決,就一直卡在那兒。諮詢過一些大牛,但是他們也是搪塞,沒有給出真正問題的原因。其中有一個問題,在QQ羣中,諮詢過一個人,從他那邊纔得到啓發,把其中的一個問題給解決掉。這也是我們遇到的問題,沒有一個平臺,導致在一些別人看似不是問題的問題上耽誤太長時間。
上面的任務完成後。下面纔是非常關鍵的步驟,任務的重中之重,同時也是問題出現的地方,也是卡時間最多的地方:測試整個集羣的性能。由下一篇博客介紹