Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
圖爲錯誤信息,運行的是example中提供的計算PI的任務
##錯誤原因:內存空間不足,
https://www.cnblogs.com/barneywill/p/10114729.html
我們需要做的是配置yarn.nodemanager.local-dirs參數,
因爲默認配置${hadoop.tmp.dir}/nm-local-dir,配置在這裏會經常報磁盤空間不足的錯誤
之前也試過網上其他答案的修改hosts,修改諸如mapreduce.reduce.shuffle.memory.limit.percent的參數的帖子並不奏效,其實本質在於內存空間不足,
在yarn-site.xml中做如下配置:
注意關鍵是第三個配置,他的value是自己新建的一個tmp目錄,自己建一個tmp目錄即可