記一次Hive 行轉列 引起的GC overhead limit exceeded

在一次hive語句進行行轉列操作的時候,幾千萬的數據量發生了omm, GC overhead limit exceeded.
去網上查找了一下,判斷是自己給map端和reduce端的內存太小了,才導致的omm,所以增加map端和reduce端的內存就好了.直接在客戶端設置一下.

hive> set mapreduce.map.memory.mb=2048;
hive> set mapreduce.reduce.memory.mb=2048;

再次執行,執行成功.

參考:記一次Hive Multi Insert 引起的GC overhead limit exceeded