關於HIVE做MapReduce報錯:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

大部分人沒有交換分區的問題。

因爲在做Linux的時候交換分區是按照內存的2倍來做的。但是我的是用VM快速裝機做的。所以交換分區被設置成了等於內存。

擴展交換分區:https://blog.csdn.net/Ares_song/article/details/81203251

永久添加該文件:https://blog.csdn.net/kai_wei/article/details/53582811

另外MYSQL一個重複IP連接問題可能導致HIVE初始化實例失敗,需要在所在用戶執行:https://blog.csdn.net/kai_wei/article/details/53582811

上面說的命令或重啓MYSQL

大部分人都應該是內存設置問題:

我對yarn的 mapred-site.xml 內存設置如下:

<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx300M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx450M</value>
</property>
</configuration>

設置的比較小,因爲我實驗機器內存比較小。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章