如何獲取Hive正在執行或已結束的SQL語句

本文主要介紹兩種方式來獲取Hive正在執行或者已結束的的MapReduce作業的SQL語句，一種是通過MapReduce API獲取執行作業的xml配置文件，另一種是通過Cloudera Manager界面直接查看。

一、通過YARN執行作業的xml配置文件

1.通過Hue執行SQL查詢，Job Browser頁面可以獲取該SQL執行的ApplicationID,如下：

2.通過ApplicationID獲取正在執行作業的配置信息,執行如下：

curl -H "Accept: application/json" -X \
GET http://master:8088/proxy/application_1534299721148_0845/ws/v1/mapreduce/jobs/job_1534299721148_0845/conf > a.xml

通過hive.query.string屬性過濾查看a.xml文件

通過獲取接口，可獲取運行中Hive作業的SQL語句，該信息對應HDFS的 /user/$USER/.staging/$JOBID/job.xml文件

3.如果作業執行完成將接口改爲JobHistory的API接口執行，執行如下：

curl -H "Accept: application/json" -X \
GET http://master:19888/ws/v1/history/mapreduce/jobs/job_1534299721148_0845/conf > b.xml

通過hive.query.string屬性過濾查看b.xml文件

通過JobHistory的API接口，可獲取Hive歷史作業執行SQL語句，該信息對應HDFS的/user/history/done/2018/08/28/000000/job_1534299721148_0845_conf.xml文件

2.通過Cloudera Manager

1.選擇Yarn的“應用程序”->“Suggestions”->“Hive應用程序”

2.選擇某個Hive作業，點擊箭頭可以展開查看完整的SQL，並察看查詢的基本統計信息