Hadoop集羣搭建的常見錯誤

http://www.codesky.net/article/201112/173518.html

安裝Hadoop常見錯誤整理:

 

1.Hadoop初始化錯誤INFO org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s).

  這種情況對數出現在啓動namenode時成功,但是運行job時就會一直連接。

  通過查看TaskTracker日誌可以看到不停地Retryingconnect,但是一直連不上,有如下解決辦法:

                   A:在啓動Hadoop前沒有格式化namenode,需要再每次啓動前格式化namenode

                            bin/Hadoop namenode –format

                   B:如果格式化後還存在相同的問題:需要先停掉Hadoop,hadoop默認配置把一些文件放到/tmp 下,我們需要刪除所有機器上的/tmp/hadoop-roor/(你的用戶名)的文件,然後重新格式化後,啓動服務。

                   C:也可以自定義tmp文件的位置,編輯conf/core-site.xml文件                     

  1. <property>  
  2.     <name>Hadoop.tmp.dir</name>  
  3.     <value>/var/log/hadoop/tmp</value>  
  4.     <description>Abase for other temporary directories</description>  
  5. </property>  

                      關閉Hadoop,格式化namenode之後啓動hadoop

                   D:還有種可能是由於/etc/hosts沒有編輯造成的,更改後重啓

2. Your DataNodes won't start, and you seesomething like this in logs/*datanode*:

       解決辦法:     

  1. bin/stop-all.sh  
  2. rm–fr /tmp/Hadoop-用戶名  
  3. bin/hadoopnamenode -format  
  4. bin/start-all.sh  

     3. You can run Hadoop jobs written in Java(like the grep example), but your HadoopStreaming jobs (such as the Pythonexample that fetches web page titles) won't work.

       原因:再用streaming工具是可能給定的mapper文件或reducer文件的相對路徑,可以嘗試一下方法

  1. bin/Hadoop jarcontrib/hadoop-0.15.2-streaming.jar   
  2. -mapper   /root/hadoop-0.20.2/mapper.py        
  3. -reducer /root/hadoop-0.20.2/reducer.py           
  4. -input intput/1.txt                                
  5. -output  output  

       4.INFO hdfs.DFSClient: Exception increateBlockOutputStream java.io.IOException:Bad connect ack with firstBadLink192.168.30.149:50010

       原因:可能有節點的防火牆開着,嘗試關閉防火牆     

  1. /etc/init.d/iptables stop  ###關閉防火牆  

       重啓Hadoop

       5. org.apache.Hadoop.dfs.SafeModeException:Cannot delete ..., Name node is in safe mode 

       原因:Hadoop的安全模式開啓了,在分佈式文件系統啓動的時候,開始的時候會有安全模式,當分佈式文件系統處於安全模式的情況下,文件系統中的內容不允許修改也不允許刪除,www.codesky.net 直到安全模式結束。安全模式主要是爲了系統啓動的時候檢查各個DataNode上數據塊的有效性,同時根據策略必要的複製或者刪除部分數據塊。運行期通過命令也可以進入安全模式。在實踐過程中,系統啓動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示,只需要等待一會兒即可

       bin/Hadoop dfsadmin -safemode leave 

    6. File/home/Hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0nodes, instead of 1最常見的錯誤!!我是這樣,

       原因:當Hadoop剛剛start-all時,datanode和namenode還沒有進行連接,這個時候如果執行上傳文件命令,會導致此命令,稍等一會問題就會解決,如果問題得不到解決,刪除tmp/hadoop-你的用戶名 文件重新格式化後啓動。

 

       7. ERRORorg.apache.Hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException:hadoop149: hadoop149 atjava.net.InetAddress.getLocalHost(InetAddress.java:1426)。 

原因:可能防火牆原因(關閉防火牆:/etc/init.d/iptables stop),也有可能是/etc/hosts文件沒有添加相關信息 例如添加:192.168.30.149  Hadoop149


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章