hive什麼時候會使用本地的mapreduce
如果在hive中運行的sql本身數據量很小,那麼使用本地mr的效率要比分佈式的快很多。
//開啓本地mr
set hive.exec.mode.local.auto=true;
//設置local mr的最大輸入數據量,當輸入數據量小於這個值的時候會採用local mr的方式
set hive.exec.mode.local.auto.inputbytes.max=50000000;
//設置local mr的最大輸入文件個數,當輸入文件個數小於這個值的時候會採用local mr的方式
set hive.exec.mode.local.auto.tasks.max=10;
當這三個參數同時成立時候,纔會採用本地mr。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
CDH集羣間數據同步 distcp
ace1832
2020-07-03 03:18:27
學習怎麼Hive表導出成csv文件
bluexue0724
2020-06-21 22:36:11
hive小文件處理方法
bluexue0724
2020-06-21 22:36:10
hive查詢語句合併問題
Damahuhu
2020-06-21 08:50:48
hive科學計數法引發的問題
Damahuhu
2020-06-21 08:06:53
hive科學計數法轉字符串
Damahuhu
2020-06-21 08:06:53
hive isnull或ifnull的替代方法if()方法
Damahuhu
2020-06-21 08:06:53
hive的order by語句分析
djd已经存在
2020-06-20 23:51:07
Hive中的數據庫(Database)和表(Table)
djd已经存在
2020-06-20 16:43:00
hive優化策略之控制map數和reduce數
djd已经存在
2020-06-20 16:43:00
Hive:ORC與RC存儲格式之間的區別
djd已经存在
2020-06-20 15:27:07
Hive中類SQL語言中的where 與having
小蚂蚁爱吃肉
2020-06-16 09:33:25
hive 連接報錯 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
ace1832
2020-05-07 21:14:34
hive基礎講解及進階
思不凡的人生
2020-03-27 22:21:49
HIVE UDF整理
zdxiq000
2020-02-21 16:10:58