Hadoop使用中遇到的問題

Error: java.io.IOException: All datanodes 10.3.1.63:56010 are bad. Aborting...

13/08/27 15:47:09 INFO mapreduce.Job: Task Id : attempt_1377256988757_0077_r_000000_2, Status : FAILED

Error: java.io.IOException: All datanodes 10.3.1.63:56010 are bad. Aborting...

   at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:941)

   at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:756)

   at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:425)

經查明，問題原因是linux機器打開了過多的文件導致。用命令ulimit -n可以發現linux默認的文件打開數目爲1024

用root帳戶修改/etc/security/limits.conf 添加如下一行：* - nofile 102400
修改/etc/pam.d/login添加如下一行 session required pam_limits.so

Refs：

永久修改linux open file:  http://www.5dlinux.com/article/1/2007/linux_2713.html

hadoop使用中的幾個小細節：http://www.alidata.org/archives/245