hadoop namenode起不來

週一發現hadoop集羣down掉了

發現由於磁盤已滿100%

刪除無用文件後重啓集羣,發現還是起不來,錯誤如下:

  1. /************************************************************ 
  2. STARTUP_MSG: Starting NameNode 
  3. STARTUP_MSG:   host = SFserver141.localdomain/192.168.15.141 
  4. STARTUP_MSG:   args = [] 
  5. STARTUP_MSG:   version = 0.20.3-SNAPSHOT 
  6. STARTUP_MSG:   build =  -r ; compiled by 'root' on Wed Jun  8 12:43:33 CST 2011 
  7. ************************************************************/ 
  8. 2012-10-22 08:50:42,096 INFO org.apache.hadoop.ipc.metrics.RpcMetrics: Initializing RPC Metrics with hostName=NameNodeport=9000 
  9. 2012-10-22 08:50:42,104 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Namenode up at: SFserver141.localdomain/192.168.15.141:9000 
  10. 2012-10-22 08:50:42,112 INFO org.apache.hadoop.metrics.jvm.JvmMetrics: Initializing JVM Metrics with processName=NameNodesessionId=null 
  11. 2012-10-22 08:50:42,113 INFO org.apache.hadoop.hdfs.server.namenode.metrics.NameNodeMetrics: Initializing NameNodeMeterics using context object:org.apache.hadoop.metrics.spi.NullContext 
  12. 2012-10-22 08:50:42,169 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=root,root,bin,daemon,sys,adm,disk,wheel 
  13. 2012-10-22 08:50:42,169 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroupsupergroup=supergroup 
  14. 2012-10-22 08:50:42,169 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=false 
  15. 2012-10-22 08:50:42,187 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 
  16. 2012-10-22 08:50:42,188 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStatusMBean 
  17. 2012-10-22 08:50:42,248 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 799968 
  18. 2012-10-22 08:50:47,535 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 13 
  19. 2012-10-22 08:50:47,540 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 102734547 loaded in 5 seconds. 
  20. 2012-10-22 08:50:48,131 INFO org.apache.hadoop.hdfs.server.common.Storage: Edits file /data/java/hadoop020/data/dfs.name.dir/current/edits of size 2749136 edits # 17772 loaded in 0 seconds. 
  21. 2012-10-22 08:50:48,801 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string: "" 
  22.         at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48) 
  23.         at java.lang.Integer.parseInt(Integer.java:470) 
  24.         at java.lang.Short.parseShort(Short.java:120) 
  25.         at java.lang.Short.parseShort(Short.java:78) 
  26.         at org.apache.hadoop.hdfs.server.namenode.FSEditLog.readShort(FSEditLog.java:1311) 
  27.         at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:541) 
  28.         at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1011) 
  29.         at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:826) 
  30.         at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:364) 
  31.         at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:87) 
  32.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:315) 
  33.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:296) 
  34.         at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:205) 
  35.         at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:283) 
  36.         at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:986) 
  37.         at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:995) 
  38.  
  39. 2012-10-22 08:50:48,802 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:  
  40. /************************************************************ 
  41. SHUTDOWN_MSG: Shutting down NameNode at SFserver141.localdomain/192.168.15.141 
  42. ************************************************************/ 

大致是因爲edits這個文件出現問題;

上網查了不少文檔,但由於沒有設置secondarynamenode;所以沒有edits的鏡像文件

之後發現一篇文章寫:


printf "\xff\xff\xff\xee\xff" > edits

把上面一段字符串寫到edits文件中

重啓正常

注:dfs.name.dir/current文件夾下還出現了edits.new的文件,我是刪除的 不知道有沒有影響

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章