error in shuffle in fetcher#5,Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

圖爲錯誤信息,運行的是example中提供的計算PI的任務

##錯誤原因:內存空間不足,
https://www.cnblogs.com/barneywill/p/10114729.html
我們需要做的是配置yarn.nodemanager.local-dirs參數,
因爲默認配置${hadoop.tmp.dir}/nm-local-dir,配置在這裏會經常報磁盤空間不足的錯誤
之前也試過網上其他答案的修改hosts,修改諸如mapreduce.reduce.shuffle.memory.limit.percent的參數的帖子並不奏效,其實本質在於內存空間不足,
在yarn-site.xml中做如下配置:

注意關鍵是第三個配置,他的value是自己新建的一個tmp目錄,自己建一個tmp目錄即可

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章