hive 結合執行計劃 分析 limit 執行原理

原創 Synchronized 2018-09-03 19:35

在hive查詢中要限制查詢輸出條數， 可以用limit 關鍵詞指定，如 select columnname1 from table1 limit 10; 這樣hive將輸出符合查詢條件的10個記錄，從根本上說， hive是hadoop提交作業的客戶端，它使用antlr詞法語法分析工具，對SQL進行分析優化後翻譯成一系列MapReduce作業，向hadoop提交運行作業以得到結果.
   看一條簡單的SQL語句：

  1. select deviceid from t_aa_pc_log where pt='2012-07-07-00' limit 1;  



   這條語句指定分區字段 pt爲2012-07-07-00, 限制結果爲 limit 1. 假設運行這個MR作業需要5個map, 那麼每個map應該輸出一條記錄，從jobtrack 的 jobdetails頁面中的計數器中 Map Input Records 一項應該顯示爲5(即該作業中Map階段總共輸入5條記錄),結果是否如預計的那樣， 通過運行改SQL來驗證:


  1.    > select deviceid from t_aa_pc_log where pt='2012-07-07-00' limit 1;                                  
  2. Total MapReduce jobs = 1 
  3. Launching Job 1 out of 1 
  4. Number of reduce tasks is set to 0 since there's no reduce operator 
  5. Starting Job = job_201205162059_1547550, Tracking URL = http://jt.dc.sh-wgq.sdo.com:50030/jobdetails.jsp?jobid=job_201205162059_1547550 
  6. Kill Command = /home/hdfs/hadoop-current/bin/hadoop job  -Dmapred.job.tracker=10.133.10.103:50020 -kill job_201205162059_1547550 
  7. 2012-07-07 16:22:42,570 Stage-1 map = 0%,  reduce = 0% 
  8. 2012-07-07 16:22:48,628 Stage-1 map = 80%,  reduce = 0% 
  9. 2012-07-07 16:22:49,640 Stage-1 map = 100%,  reduce = 0% 
  10. 2012-07-07 16:22:50,654 Stage-1 map = 100%,  reduce = 100% 
  11. Ended Job = job_201205162059_1547550 
  12. OK 
  13. 0cf49387a23d9cec25da3d76d6988546 
  14. Time taken: 13.499 seconds 
  15. hive>  



正如limit 1限制，輸出一條記錄，再通過 http://jt.dc.sh-wgq.sdo.com:50030/jobdetails.jsp?jobid=job_201205162059_1547550
查看Map Input Records項:







  上圖顯示Map Input Records實際上是35，並非之前設想的每個MAP一條，總共5條，那多出來的30條記錄又是怎麼來的? 實際上這個跟hive mapreduce實現有關，先來看看上面這條SQL的執行計劃:


  1.     > explain select deviceid from t_aa_pc_log where pt='2012-07-07-00' limit 1; 
  2. OK 
  3. STAGE DEPENDENCIES: 
  4.   Stage-1 is a root stage 
  5.   Stage-0 is a root stage 
  6.  
  7. STAGE PLANS: 
  8.   Stage: Stage-1 
  9.     Map Reduce 
  10.       Alias -> Map Operator Tree: 
  11.         t_aa_pc_log  
  12.           TableScan 
  13.             alias: t_aa_pc_log 
  14.             Filter Operator 
  15.               predicate: 
  16.                   expr: (pt = '2012-07-07-00') 
  17.                   type: boolean 
  18.               Select Operator 
  19.                 expressions: 
  20.                       expr: deviceid 
  21.                       type: string 
  22.                 outputColumnNames: _col0 
  23.                 Limit 
  24.                   File Output Operator 
  25.                     compressed: false 
  26.                     GlobalTableId: 0 
  27.                     table: 
  28.                         input format: org.apache.hadoop.mapred.TextInputFormat 
  29.                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat 
  30.  
  31.   Stage: Stage-0 
  32.     Fetch Operator 
  33.       limit: 1 
  34.  
  35.  
  36. Time taken: 0.418 seconds 



   改執行計劃顯示，Stage-1 是一個MR程序，且只有map過程， 沒有reduce過程,也就是說在Map過程就直接將結果輸出到HDFS文件系統, Stage-0是依賴於Stage-1的文件讀取操作，它不是MR作業，只是一個基於hadoop文件系統客戶端的分佈式文件讀取程序。

   重點分析Stage-1過程，一條記錄被讀取後調用hive自定義mapper函數，依次經過

TableScan Operator -> Filter Operator -> Select Operator -> Limit Operator-> File Output Operator, 以上每一個Operator都是hive定義的一個處理過程, 每一個 Operator都定義有:


  1. protected List<Operator<? extends Serializable>> childOperators; 
  2. protected List<Operator<? extends Serializable>> parentOperators; 



這樣就構成了一個 Operator圖，hive正是基於這些圖關係來處理諸如limit, group by, join等操作. Operator 基類定義一個:


  1. protected boolean done; // 初始化值爲false



這個字段指示某一個層級的Operator是否已經處理完成，每當一條記錄進入特定的Operator操作時，當前Operator會判斷自己的childOperators 的done是否全部爲true, 如果是， 表示childOperators已去全部處理完畢， 當前這個Operator也把自己的 done設置爲true, 這樣層層返回，直到最外層的Operator, 這個查詢中涉及的部分Operator如下圖:







 該hive MR作業中指定的mapper是:


  1. mapred.mapper.class = org.apache.hadoop.hive.ql.exec.ExecMapper 



input format是:


  1. hive.input.format   org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 



部分執行流程：







MapRunner會循環調用CombineHiveRecordReader的doNext方法讀入行記錄，直到doNext方法返回false, doNext方法中有一個重要的邏輯來控制記錄讀取是否結束


  1. @Override 
  2. public boolean doNext(K key, V value) throws IOException { 
  3.   if (ExecMapper.getDone()) { 
  4.     return false; 
  5.   } 
  6.   return recordReader.next(key, value); 
  7. } 



   每讀取一條記錄都會判斷 MapRunner.getDone()是否爲真， 如果是則結束Mapper讀取過程,  ExecMapper類中定義了一個靜態變量done（靜態非常重要，因爲在hadoop框架下執行時 CombineHiveRecordReader無法拿到 ExecMapper實例), 當 MapRunner讀取一條記錄後就會調用 MapRunner的map函數,  ExecMapper中定義了一個MapOperator，MapOperator的 childOperators 列表中持有TableScanOperator實例，依次類推，
各Operator遞歸包含.

    ExecMapper的map函數被調用時會先判斷 MapOperator的done是否爲true, 如果是，則將自己的靜態變量done設置爲true(這樣 CombineHiveRecordReader在下一次讀取記錄時發現 ExecMapper的done爲true, 結束mapper記錄讀取),  否則執行MapOperator的process方法, 具體邏輯如下:


  1. public void map(Object key, Object value, OutputCollector output, 
  2.       Reporter reporter) throws IOException { 
  3.     if (oc == null) { 
  4.       oc = output; 
  5.       rp = reporter; 
  6.       mo.setOutputCollector(oc); 
  7.       mo.setReporter(rp); 
  8.     } 
  9.     // reset the execContext for each new row 
  10.     execContext.resetRow(); 
  11.  
  12.     try { 
  13.       if (mo.getDone()) { 
  14.         done = true; 
  15.       } else { 
  16.         // Since there is no concept of a group, we don't invoke 
  17.         // startGroup/endGroup for a mapper 
  18.         mo.process((Writable)value); 



接下來再看看各Operator如何判斷自己狀態是否爲執行完成:


  1. int childrenDone = 0; 
  2. for (int i = 0; i < childOperatorsArray.length; i++) { 
  3.   Operator<? extends Serializable> o = childOperatorsArray[i]; 
  4.   if (o.getDone()) { 
  5.     childrenDone++; 
  6.   } else { 
  7.     o.process(row, childOperatorsTag[i]); 
  8.   } 
  9. } 
  10.  
  11. // if all children are done, this operator is also done 
  12. if (childrenDone == childOperatorsArray.length) { 
  13.   setDone(true); 
  14. } 



每個Operator都判斷自己的子Operator狀態是否全部完成， 如果是則把自己的狀態也設置成done=true.

最後再看LimitOperator的判斷邏輯:


  1. @Override 
  2. public void processOp(Object row, int tag) throws HiveException { 
  3.   if (currCount < limit) { 
  4.     forward(row, inputObjInspectors[tag]); 
  5.     currCount++; 
  6.   } else { 
  7.     setDone(true); 
  8.   } 
  9. } 



currCount 是一個記錄處理的計數器， 初始值爲0， 當該值大於等於limit後，將自己標識成處理完成狀態,即設置done=true.

   分析到現在， 已經可以非常清晰的解釋最初的疑問了， 爲什麼 limit 1， map數爲5的前提下， Map Input Records 是35而不是5

1. 第一條記錄進入LimitOperator done 爲false

2. 第二條記錄進入LimitOperator done 爲true

3. 第三條記錄進入SelectOperator done 設置爲true

4. 第四條記錄進入FilterOperator done設置爲true

5. 第五條記錄進入TableScanOperator done設置爲true

6. 第六條記錄進入MapOperator done設置爲true

7. 第7條記錄進入ExecMapper 靜態變量done設置爲true

8. 讀取第八條記錄時 CombineHiveRecordReader 發現 ExecMapper 的done已經爲true, 結束數據讀取，從而 MapRunner 退出循環， 結束mapper過程.

從上面8個步驟看出， 每個map會讀取7條記錄， 5個map， 正好是35條記錄.

   在平時工作中， 通過分析 hive 執行計劃可以讓我們清楚的知道MR中的每一個過程，理解HIVE執行過程， 進而對SQL優化.







原文：http://yaoyinjie.blog.51cto.com/3189782/923378










    





發表評論














所有評論



還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.







相關文章








多線程和多進程 - 初窺






一、說明
在平常工作中，我們使用top命令查看一臺linux服務器的cpu使用情況時，會發現某個進程的cpu使用率會超過100%，這是爲什麼？
二、舉例
實驗環境爲 CentOS7.6 + Python2.7
1. 多線程、多進程在操作系統






小豹子加油

2024-05-20 14:36:10









Xming - xmanager的替代方案






一、概述
安裝某些數據庫的時候使用圖像化還是比較方便的，但是由於服務器一般不提供圖形化界面。之前一直都是使用Xmanager去導出圖形，但是Xmanager是收費的，公司不讓用，所以找了一款可以完美替代的產品Xming，本文將介紹xming






小豹子加油

2024-05-20 14:36:10









Mysql - 數據庫時區是客戶端屬性還是服務端屬性






一、說明
同事問我數據庫的時區是客戶端屬性還是服務端屬性，我覺得這個問題十分有意思，之前沒怎麼留意，自己來做下實驗。
首先介紹幾個術語。
GMT（Greenwich Mean Time），格林尼治平均時間。
UTC（Coordinated






小豹子加油

2024-05-20 14:36:10









sql求連續值問題






一. 找出表test1中tflag字段連續出現3次及以上爲1的行
思路：1. 對行進行編號，2. 對相鄰三行進行求和算出值作爲sumflag，3. 如果值爲3，則該行以及接下來的2行都輸出出來，通過自關聯解決。
WITH tmp AS (






小豹子加油

2024-05-20 14:36:10









SQL優化-20231016






數據結構
數據庫的表和索引缺一不可
表
特點： 無序，插入速度快，查找速度慢
索引（B+Tree）
特點：有序，插入速度慢，查找速度快
查找的效率比較，如果按照讀取的數據塊來計算？
測試數據
TABLE_OWNER TABLE






小豹子加油

2024-05-20 14:36:10









兩臺數據庫在數據寫入時性能的差異






介紹：我有兩臺數據庫，分別稱爲200和203，200和203的服務器性能配置相當，203的配置甚至還要好一點。都是安裝的centos7.7，oracle 19C，均已開日誌歸檔，這兩臺服務器在同一個機房，同一個網段。當我在本地使用JDBC去






小豹子加油

2024-05-20 14:36:10









Linux安裝MySQL配置教程






1.使用系統的root賬戶
2.切換到 /use/local 目錄下
3.下載mysql 
根據自己需要安裝的版本下載。
wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysq






莫等閒也

2024-05-20 14:34:20









salesforce零基礎學習（一百三十七）零碎知識點小總結（九）






本篇參考： 
https://help.salesforce.com/s/articleView?id=release-notes.rn_lab_conditional_visibiliy_tab.htm&release=250&type=






zero.zhang

2024-05-20 14:34:10









sql server sp_executesql 中使用表變量進行查詢






示例demo：
DECLARE @table IdTableType
INSERT INTO @table SELECT Id FROM dbo.t_pl_test
DECLARE @SearchSQL NVARCHAR(MAX)
SE






自閉玩家

2024-05-20 14:32:10









Flink精確消費一次






 在大數據計算裏面，計算引擎是處於承上啓下的作用，對上承接數據源，對下承接各種各種數據庫，比如mysql、oracle。對於任何數據計算來說要想精確消費一次，就需要支持事務或者冪等，我們最常見的支持事務的就是單點的oracle、mysql數






人不瘋狂枉一生

2024-05-20 14:27:59









5款.NET開源、免費、功能強大的圖表庫






LiveCharts2
LiveCharts2是一個.NET開源（MIT License）、簡單、靈活、交互式且功能強大的.NET圖表、地圖和儀表，現在幾乎可以在任何地方運行如：Maui、Uno Platform、Blazor-wasm、W






追逐時光

2024-05-20 14:26:59









終於搞懂了！原來 Vue 3 的 generate 是這樣生成 render 函數的






前言
在之前的 面試官：來說說vue3是怎麼處理內置的v-for、v-model等指令？ 文章中講了transform階段處理完v-for、v-model等指令後，會生成一棵javascript AST抽象語法樹。這篇文章我們來接着講gen






你假裝沒察覺

2024-05-20 14:26:19









Markdown基礎語法2024測試






標題一
標題二
標題三
標題四
標題五
標題六
hr
加粗字體 b
斜體字體 i
引用內容 code
超鏈接 a
blockquote
ol > li
有序列表
ul > li
無須列表
pre 代碼塊
p
表格標






喵喵撲

2024-05-20 14:26:09









ue5生成vs工程報錯-msvc版本太舊






ue生成VS工程報錯
右鍵 - uproject ，Generating VisualStudio project files ，報錯信息如下：就是我安裝的msvc版本太舊
Running C:/Program Files/Epic Ga






趙青青

2024-05-20 14:25:39









vscode 清理遠程服務器內存






因網絡中斷或其他原因，有時候服務器上留下較多無用的vscode-server進程，佔用內存資源
可以採用如下命令kill進程
ps uxa | grep .vscode-server | awk '{print $2}' | xargs k






張博的博客

2024-05-20 14:24:58