error in shuffle in fetcher#5,Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

图为错误信息,运行的是example中提供的计算PI的任务

##错误原因:内存空间不足,
https://www.cnblogs.com/barneywill/p/10114729.html
我们需要做的是配置yarn.nodemanager.local-dirs参数,
因为默认配置${hadoop.tmp.dir}/nm-local-dir,配置在这里会经常报磁盘空间不足的错误
之前也试过网上其他答案的修改hosts,修改诸如mapreduce.reduce.shuffle.memory.limit.percent的参数的帖子并不奏效,其实本质在于内存空间不足,
在yarn-site.xml中做如下配置:

注意关键是第三个配置,他的value是自己新建的一个tmp目录,自己建一个tmp目录即可

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章