Run Hive on spark tasks with Hue, always running more than 30 min

環境

CDH 6.3.1
Hive 2.1.1(執行引擎Spark)
Hue
Spark 2.4.0

問題

Hue執行hive sql:
在這裏插入圖片描述
理論上14.005s已經執行完了,結果已經正常返回,但是hue上的job 持續了30m才結束,詳情如下:
在這裏插入圖片描述

解決思路

查找各種資料,也調整各種timeout, 就是不work; 因爲每次都是規律的30分鐘結束,最終找到hive配置文件中的一個配置:

在這裏插入圖片描述
調整此值爲300s後,按照預想的5分鐘執行完成了:
在這裏插入圖片描述

總結思考

hive.spark.session.timeout 這個配置藏得有點兒深;另外hue不能根據查詢到yarn上的狀態自動更新狀態爲finished嗎?單靠這個session timeout來控制太不友好了,尤其是對有些執行時間長的任務. 有時間想去翻翻hue源代碼看看具體怎麼交互的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章