Hive Tez報錯:errorMessage=Cannot recover from this error:java.lang.OutOfMemoryError: Java heap space

ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Reducer 2, vertexId=vertex_1582200549031_0142_2_02, diagnostics=[Task failed, taskId=task_1582200549031_0142_2_02_000008, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : java.lang.OutOfMemoryError: Java heap space
 

解決方法:

1、調大hive.tez.container.size的值,如hive.tez.container.size=20480MB ,hive.tez.java.opts=-Xmx16384m;(hive.tez.container.size的80%)

或者

(可選)tez.runtime.shuffle.memory.limit.percent 改小一點,默認是0.25 , 如改爲0.15

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章