hive on spark參數配置

hive on Spark參數：

set spark.master=yarn-cluster;                    #設置spark提交模式

set hive.execution.engine=spark;                #設置計算引擎

set spark.yarn.queue=queue_name;           #設置作業提交隊列

set spark.app.name=job_name;                  #設置作業名稱

set spark.executor.instances=20;                #設置執行器個數

set spark.executor.cores=4;                        #設置執行器計算核個數

set spark.executor.memory=8g;                  #設置執行器內存

set mapred.reduce.tasks=600;                    #設置任務並行度

set spark.yarn.executor.memoryOverhead=2048;    #設置每個executor的jvm堆外內存

set spark.memory.fraction=0.8;                  #設置內存比例(spark2.0+)

set spark.serializer=org.apache.serializer.KyroSerializer;  #設置對象序列化方式

#設置動態分區

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

set hive.exec.dynamic.partitions.pernode=10000;

set hive.exec.dynamic.partitions=10000;