環境
CDH 6.3.1
Hive 2.1.1(執行引擎Spark)
Hue
Spark 2.4.0
問題
Hue執行hive sql:
理論上14.005s已經執行完了,結果已經正常返回,但是hue上的job 持續了30m才結束,詳情如下:
解決思路
查找各種資料,也調整各種timeout, 就是不work; 因爲每次都是規律的30分鐘結束,最終找到hive配置文件中的一個配置:
調整此值爲300s後,按照預想的5分鐘執行完成了:
總結思考
hive.spark.session.timeout 這個配置藏得有點兒深;另外hue不能根據查詢到yarn上的狀態自動更新狀態爲finished嗎?單靠這個session timeout來控制太不友好了,尤其是對有些執行時間長的任務. 有時間想去翻翻hue源代碼看看具體怎麼交互的。