关于HIVE做MapReduce报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

大部分人没有交换分区的问题。

因为在做Linux的时候交换分区是按照内存的2倍来做的。但是我的是用VM快速装机做的。所以交换分区被设置成了等于内存。

扩展交换分区:https://blog.csdn.net/Ares_song/article/details/81203251

永久添加该文件:https://blog.csdn.net/kai_wei/article/details/53582811

另外MYSQL一个重复IP连接问题可能导致HIVE初始化实例失败,需要在所在用户执行:https://blog.csdn.net/kai_wei/article/details/53582811

上面说的命令或重启MYSQL

大部分人都应该是内存设置问题:

我对yarn的 mapred-site.xml 内存设置如下:

<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx300M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx450M</value>
</property>
</configuration>

设置的比较小,因为我实验机器内存比较小。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章