如何在Hue中調優Impala和Hive查詢

溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

Fayson的github: https://github.com/fayson/cdhproject

提示:代碼塊部分可以左右滑動查看噢

1

文檔編寫目的

Hue中使用Hive和Impala進行查詢,在使用完Hue後退出登錄,會出現Hive和Impala的暫用的資源未釋放。本篇文章Fayson主要針對該問題在Hue中調優Impala和Hive查詢,該調優方式適用於CDH5.2及以後版本。

  • 內容概述

1.場景描述及測試用戶準備

2.Impala資源池和放置規則配置

3.放置規則驗證及總結

  • 測試環境

1.CM和CDH版本爲5.15

2

Hue中調優Impala

Hue會嘗試在用戶離開查詢結果返回界面時關閉查詢(通常查詢會比較快完成,因此可以快速的關閉它們)。但是,如果用戶執行的操作從未返回。或者,如果用戶從未關閉查詢頁面,則查詢任然保存打開狀態。在CDH5.2中,Impala將自動使用“query_timeout_s”屬性指定會話超時時間(默認爲10分鐘),在超時後自動取消查詢,可以通過如下方式設置該參數。

1.使用管理員登錄CM,進入Hue服務的配置界面

2.在搜索欄輸入“hue*.ini”,在配置項中配置如下信息

[impala]
query_timeout_s=600

(可左右滑動)

配置查詢超時時間,單位爲s,完成以上配置後根據CM提示重啓相應服務即可。在此之前的版本,關閉所有查詢的唯一解決方法則是重啓Hue或Impala服務。

注意:Impala目前只能取消查詢但不能關閉查詢。他將在Impala 1575的版本中得到改進。JIRA地址如下:http://issues.cloudera.org/browse/IMPALA-1575

3

Hive調優

在CDH5.2版本中修復了HIVE-5799問題,HiveServer2可以通過配置會話超時時間。具體JIRA地址:https://issues.apache.org/jira/browse/HIVE-5799,如下來說明如何進行Hive調優:

1.使用管理員登錄CM,進入Hive服務的配置界面

2.在左側篩選器選擇HiveServer2服務並在搜索欄輸入“hive-site.xml”,在配置中增加如下內容:

<property>
    <name>hive.server2.session.check.interval</name>
    <value>3000</value>
    <description>The check interval for session/operation timeout, which can be disabled by setting to zero or negative value.</description>
</property>
<property>
    <name>hive.server2.idle.session.timeout</name>
    <value>0</value>
    <description>Session will be closed when it's not accessed for this duration, which can be disabled by setting to zero or negative value.</description>
</property>
<property>
    <name>hive.server2.idle.operation.timeout</name>
    <value>0</value>
    <description>Operation will be closed when it's not accessed for this duration of time, which can be disabled by setting to zero value. With positive value, it's checked for operations in terminal state only (FINISHED, CANCELED, CLOSED, ERROR). With negative value, it's checked for all of the operations regardless of state.</description>
</property>

(可左右滑動)

完成修改後,保存配置並重啓HiveServer2服務。

4

文總結

1.在Hue中進行Hive和Impala查詢後,用戶退出後不會自動的釋放Hive和Impala的資源,因此該調優文章主要針對查詢佔用資源不釋放問題。

2.通過設置Impala和HiveServer2的會話超時方式來釋放查詢佔用的資源,已達到調優的目的。

提示:代碼塊部分可以左右滑動查看噢

爲天地立心,爲生民立命,爲往聖繼絕學,爲萬世開太平。 溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

推薦關注Hadoop實操,第一時間,分享更多Hadoop乾貨,歡迎轉發和分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章