Hive幾種參數配置方法

Hive提供三種可以改變環境變量的方法,分別是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行參數;(3)、在已經進入cli時進行參數聲明。下面分別來介紹這幾種設定。

方法一:
在Hive中,所有的默認配置都在${HIVE_HOME}/conf/hive-default.xml文件中,如果需要對默認的配置進行修改,可以創建一個hive-site.xml文件,放在${HIVE_HOME}/conf目錄下。裏面可以對一些配置進行個性化設定。在hive-site.xml的格式如下:

<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of 
              default database for the warehouse</description>
    </property>
</configuration>

所有的配置都是放在<configuration></configuration>標籤之間,一個configuration標籤裏面可以存在多個<property></property>標籤。<name>標籤裏面就是我們想要設定屬性的名稱;<value>標籤裏面是我們想要設定的值;<description;<標籤是描述在這個屬性的,可以不寫。絕大多少配置都是在xml文件裏面配置的,因爲在這裏做的配置都全局用戶都生效,而且是永久的。用戶自定義配置會覆蓋默認配置。另外,Hive也會讀入hadoop的配置,因爲Hive是作爲hadoop的客戶端啓動的,Hive的配置會覆蓋Hadoop的配置。

方法二:
在啓動Hive cli的時候進行配置,可以在命令行添加-hiveconf param=value來設定參數,例如:

[[email protected] ~]$ hive --hiveconf mapreduce.job.queuename=queue1

這樣在Hive中所有MapReduce作業都提交到隊列queue1中。這一設定對本次啓動的會話有效,下次啓動需要重新配置。

方法三:
在已經進入cli時進行參數聲明,可以在HQL中使用SET關鍵字設定參數,例如:

hive> set mapreduce.job.queuename=queue1;

這樣也能達到方法二的效果。這種配置也是對本次啓動的會話有效,下次啓動需要重新配置。在HQL中使用SET關鍵字還可以查看配置的值,如下:

hive> set mapreduce.job.queuename;
mapreduce.job.queuename=queue1

我們可以得到mapreduce.job.queuename=queue1。如果set後面什麼都不添加,這樣可以查到Hive的所有屬性配置,如下:

hive> set;
datanucleus.autoCreateSchema=true
datanucleus.autoStartMechanismMode=checked
datanucleus.cache.level2=false
datanucleus.cache.level2.type=none
datanucleus.connectionPoolingType=DBCP
datanucleus.identifierFactory=datanucleus
datanucleus.plugin.pluginRegistryBundleCheck=LOG
datanucleus.storeManagerType=rdbms
datanucleus.transactionIsolation=read-committed
datanucleus.validateColumns=false
datanucleus.validateConstraints=false
datanucleus.validateTables=false

............................

上述三種設定方式的優先級依次遞增。即參數聲明覆蓋命令行參數,命令行參數覆蓋配置文件設定。

注意:某些系統級的參數,例如log4j相關的設定,必須用前兩種方式設定,因爲那些參數的讀取在會話建立以前已經完成了。所以在HQL中設定是無效的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章