hive什麼時候會使用本地的mapreduce

如果在hive中運行的sql本身數據量很小,那麼使用本地mr的效率要比分佈式的快很多。

//開啓本地mr
set hive.exec.mode.local.auto=true; 

//設置local mr的最大輸入數據量,當輸入數據量小於這個值的時候會採用local mr的方式
set hive.exec.mode.local.auto.inputbytes.max=50000000;

//設置local mr的最大輸入文件個數,當輸入文件個數小於這個值的時候會採用local mr的方式
set hive.exec.mode.local.auto.tasks.max=10;

當這三個參數同時成立時候,纔會採用本地mr。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章