hive 參數設定

本文轉自：http://www.oschina.net/question/12_9024

開發Hive應用時，不可避免地需要設定Hive的參數。設定Hive的參數可以調優HQL代碼的執行效率，或幫助定位問題。然而實踐 中經常遇到的一個問題是，爲什麼設定的參數沒有起作用？

這通常是錯誤的設定方式導致的。

對於一般參數，有以下三種設定方式：

• 配置文件
• 命令行參數
• 參數聲明

配置文件：Hive的配置文件包括

• 用戶自定義配置文件：$HIVE_CONF_DIR/hive-site.xml
• 默認配置文件：$HIVE_CONF_DIR/hive-default.xml

用戶自定義配置會覆蓋默認配置。另外，Hive也會讀入Hadoop的配置，因爲Hive是作爲Hadoop的客戶端啓動的，Hadoop的配置文 件包括

• $HADOOP_CONF_DIR/hive-site.xml
• $HADOOP_CONF_DIR/hive-default.xml

Hive的配置會覆蓋Hadoop的配置。
配置文件的設定對本機啓動的所有Hive進程都有效。
命令行參數：啓動Hive（客戶端或Server方式）時，可以在命令行添加-hiveconf param=value來設定參數，例如：

bin/hive -hiveconf hive.root.logger=INFO,console

這一設定對本次啓動的Session（對於Server方式啓動，則是所有請求的Sessions）有效。
參數聲明：可以在HQL中使用SET關鍵字設定參數，例如：

set mapred.reduce.tasks=100;

這一設定的作用域也是Session級的。
上述三種設定方式的優先級依次遞增。即參數聲明覆蓋命令行參數，命令行參數覆蓋配置文件設定。注意某些系統級的參數，例如log4j相關的設定，必須用前 兩種方式設定，因爲那些參數的讀取在Session建立以前已經完成了。

另外，SerDe參數必須寫在DDL（建表）語句中。例如：

create table if not exists t_dummy(
dummy	string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
'field.delim'='\t',
'escape.delim'='\\',
'serialization.null.format'=' '
) STORED AS TEXTFILE;

類似serialization.null.format這樣的參數，必須和某個表或分區關聯。在DDL外部聲明將不起作用。