最實用的hive優化參數配置，session級別配置靈活性高

前言

在Hive優化方面，要做到性能最優，那就是得定製優化，針對不同的sql腳本設置不同的參數，配置不同的map和reduce數。保證局部性能最優，結果纔會是效率最高。

那麼在定製優化方面使用session級別的配置就是對症下藥。所有的設置的參數只在一次Hive的cli命令起作用，關閉窗口或者退出命令行後整個配置參數全部失效，不會對其他腳本的運行環境造成影響。

配置清單：

• 1 創建session級別臨時表，會話關閉臨時表自動銷燬
• 2 設置程序運行的隊列環境
• 3 設置sql語句查詢結果是否顯示列名
• 4 開啓動態分區的設置
• 5 動態設置分區達到默認數量上限
• 6 設置reduce數量
• 7 設置map數量
• 8 使用with cube 、grouping set的優化配置
• 9 是否自動轉爲mapjoin
• 10 在group by 階段出現數據傾斜
• 11 hadoop作業JVM堆大小設置
• 12 控制是否啓用查詢執行的向量模式

詳細講解:

1 創建session級別臨時表，會話關閉臨時表自動銷燬

CREATE TEMPORARY TABLE tmp 
(
 a       string    
,b       string        
,c       string
) ;

2 設置程序運行的隊列環境

set mapred.job.queue.name=ne;

3 設置sql語句查詢結果是否顯示列名

set hive.cli.print.header=true;
select * from tmp2_jc_test limit 10;

4 開啓動態分區的設置

set hive.exec.dynamic.partition.mode=nonstrict;
INSERT overwrite table tmp partition(etl_date)
select 
a,b,c,table_column4_date from tmp2

以上的tmp表會按照 table_column4_date 字段進行動態創建分區

5 動態設置分區是有默認數量上限的，如果數量超出了默認設置就需要配置下面的參數

SET hive.exec.dynamic.partition=true;
SET hive.exec.max.dynamic.partitions=2048;  --自動創建分區的數量設置
SET hive.exec.max.dynamic.partitions.pernode=2048; --一個node上允許創建的分區數量設置

6 設置reduce數量

set mapred.reduce.tasks= 20;

7 設置map數量

set mapred.max.split.size=5000000;               
set mapred.min.split.size.per.node=5000000;
set mapred.min.split.size.per.rack=5000000; 
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 

map數量是不能直接設定一個固定值。而是通過hadoop內置的算法計算出來的數值。
主要的決定因素有： input的文件總個數，input的文件大小，集羣設置的文件塊大小(目前爲128M, 可在hive中通過set dfs.block.size;命令查看到，該參數不能自定義修改)；

map任務要劃分的大小（splitSize ）=（maxSize與blockSize之間的最小值）與minSize之間的最大值
bytesRemaining 是單個輸入源文件未劃分的字節數

根據getSplits方法，map任務劃分的數量=輸入源文件數目 * (bytesRemaining / splitSize個劃分任務+bytesRemaining不能被splitSize 整除的剩餘大小單獨劃分一個任務 )

個人理解： 可以根據輸入的文件大小、文件個數以及集羣中block大小就大致可以推算出大概的map數，但是，map和reduce數不是越多越好，也不是越少越好。map和reduce數根據集羣的節點數而定。儘量讓計算任務平均分攤到每個節點上，才能達到最高的計算效率

hive 源碼如下：FileInputFormat.java

public List<InputSplit> getSplits(JobContext job) throws IOException {
    StopWatch sw = new StopWatch().start();
    long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
    long maxSize = getMaxSplitSize(job);
    List<InputSplit> splits = new ArrayList<InputSplit>();
    List<FileStatus> files = listStatus(job);
    for (FileStatus file: files) {
      Path path = file.getPath();
      long length = file.getLen();
      if (length != 0) {
        BlockLocation[] blkLocations;
        if (file instanceof LocatedFileStatus) {
          blkLocations = ((LocatedFileStatus) file).getBlockLocations();
        } else {
          FileSystem fs = path.getFileSystem(job.getConfiguration());
          blkLocations = fs.getFileBlockLocations(file, 0, length);
        }
        if (isSplitable(job, path)) {
          long blockSize = file.getBlockSize();
          long splitSize = computeSplitSize(blockSize, minSize, maxSize);

          long bytesRemaining = length;
          while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                        blkLocations[blkIndex].getHosts(),
                        blkLocations[blkIndex].getCachedHosts()));
            bytesRemaining -= splitSize;
          }

          if (bytesRemaining != 0) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                       blkLocations[blkIndex].getHosts(),
                       blkLocations[blkIndex].getCachedHosts()));
          }
        } else { // not splitable
          splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts(),
                      blkLocations[0].getCachedHosts()));
        }
      } else { 
        //Create empty hosts array for zero length files
        splits.add(makeSplit(path, 0, length, new String[0]));
      }
    }
    // Save the number of input files for metrics/loadgen
    job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
    sw.stop();
    if (LOG.isDebugEnabled()) {
      LOG.debug("Total # of splits generated by getSplits: " + splits.size()
          + ", TimeTaken: " + sw.now(TimeUnit.MILLISECONDS));
    }
    return splits;
  }

protected long computeSplitSize(long blockSize, long minSize,
                                  long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

8 hive.new.job.grouping.set.cardinality 默認值是30，也就是在GROUPING SETS裏面集合數據超過這個值的時候，會增加一個job來降低mapreduce的處理。使用with cube 、grouping set的優化配置

set hive.new.job.grouping.set.cardinality = 4100;

9 是否自動轉爲mapjoin

--是否自動轉換爲mapjoin
set hive.auto.convert.join = true;
--小表的最大文件大小，默認爲25000000，即25M
set hive.mapjoin.smalltable.filesize = 25000000;
--是否將多個mapjoin合併爲一個
set hive.auto.convert.join.noconditionaltask = true;
--多個mapjoin轉換爲1個時，所有小表的文件大小總和的最大值。
set hive.auto.convert.join.noconditionaltask.size = 10000000;

10 在group by 階段出現數據傾斜應該設置爲true， 若group的鍵對應的記錄條數超過100000就會進行此優化

set hive.groupby.skewindata=true;
 set hive.groupby.mapaggr.checkinterval=100000

默認該參數的值爲false，表示不啓用，要啓用時，可以set hive.groupby.skewindata=ture;進行啓用。
當啓用時，能夠解決數據傾斜的問題，但如果要在查詢語句中對多個字段進行去重統計時會報錯

hive> set hive.groupby.skewindata=true;
hive> select count(distinct id),count(distinct x) from test;
 
FAILED: SemanticException [Error 10022]: DISTINCT on different columns not supported with skew in data

11 hadoop作業JVM堆大小設置

map端的大小設置：

set mapreduce.map.java.opts=-Xmx4096m;--默認值：-Xmx200。 map/reduce執行參數設置，可以參數Hadoop Mapreduce Error: GC overhead limit exceeded
set mapreduce.map.memory.mb=4096; -- map內存申請大小，單位m，默認值 1024

reduce端的大小設置：

set mapreduce.reduce.memory.mb=10000;
set mapreduce.reduce.java.opts=-Xmx10000m;

12 控制是否啓用查詢執行的向量模式

set hive.vectorized.execution.enabled=false;