一、什麼是SQL
sql(Structured Query Language: 結構化查詢語言)是高級的費過程化編程語言,允許用戶在高層數據結構上工作, 是一種數據查詢和程序設計語言, 也是(ANSI)的一項標準的計算機語言. but... 目前仍然存在着許多不同版本的sql語言,爲了與ANSI標準相兼容, 它們必須以相似的方式共同地來支持一些主要的命令(比如SELECT、UPDATE、DELETE、INSERT、WHERE等等).
在標準SQL中, SQL語句包含四種類型
DML（Data Manipulation Language）：數據操作語言，用來定義數據庫記錄（數據）。
DCL（Data Control Language）：數據控制語言，用來定義訪問權限和安全級別。
DQL（Data Query Language）：數據查詢語言，用來查詢記錄（數據）。
DDL（Data Definition Language）：數據定義語言，用來定義數據庫對象（庫，表，列等）
二、如何執行SQL
2.1 mysql
以mysql爲例, sql執行流程大致分爲以下節點(mysql server層代碼, 不包含引擎層事務/log等操作):
mysqlLex: mysql自身的詞法分析程序, C++語言開發, 基於輸入的語句進行分詞, 並解析除每個分詞的意義. 分詞的本質便是正則表達式的匹配過程. 源碼在sql/sql_lex.cc
Bision: 根據mysql定義的語法規則,進行語法解析,語法解析就是生成語法樹的過程. 核心是如何涉及合適的存儲結構以及相關算法,去存儲和遍歷所有的信息
語法解析中,生成語法樹:
mysql分析器: SQL解析, 針對關鍵詞/非關鍵詞進行提取、解析, 並生成解析語法樹. 如果分析到語法錯誤,會拋出異常: ERROR: You have an error in your SQL syntax. 同時該階段也會做一些校驗, 如不存在字段會拋出異常: unknow column in field list.
引申點:
a. 語法樹生成規則
b. mysql的優化規則
2.2 hive sql
Hive 是基於Hadoop 構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分佈式文件系統中的數據，可以將結構化的數據文件映射爲一張數據庫表，並提供完整的SQL查詢功能，可以將SQL語句轉換爲MapReduce任務進行運行，通過自己的SQL 去查詢分析需要的內容，這套SQL 簡稱Hive SQL，使不熟悉mapreduce 的用戶很方便的利用SQL 語言查詢，彙總，分析數據
hive架構圖:
Driver：
輸入了sql字符串，對sql字符串進行解析，轉化程抽象語法樹，再轉化成邏輯計劃，然後使用優化工具對邏輯計劃進行優化，最終生成物理計劃（序列化反序列化，UDF函數），交給Execution執行引擎，提交到MapReduce上執行（輸入和輸出可以是本地的也可以是HDFS/Hbase）見下圖的hive架構
hiveSql的執行流程如下:
sql寫出來以後只是一些字符串的拼接，所以要經過一系列的解析處理，才能最終變成集羣上的執行的作業
（1）Parser：將sql解析爲AST（抽象語法樹），會進行語法校驗，AST本質還是字符串
（2）Analyzer：語法解析，生成QB（query block）
（3）Logicl Plan：邏輯執行計劃解析，生成一堆Opertator Tree
（4）Logical optimizer:進行邏輯執行計劃優化，生成一堆優化後的Opertator Tree
（5）Phsical plan：物理執行計劃解析，生成tasktree
（6）Phsical Optimizer：進行物理執行計劃優化，生成優化後的tasktree，該任務即是集羣上的執行的作業
結論：經過以上的六步，普通的字符串sql被解析映射成了集羣上的執行任務，最重要的兩步是 邏輯執行計劃優化和物理執行計劃優化（圖中紅線圈畫）
Antlr: Antrl是一種語言識別的工具, 基於java開發, 可以用來構造領域語言. 它提供了一個框架,可以通過包含java, C++, 或C#動作(action)的語法描述來構造語言識別器, 編譯器和解釋器.Antlr完成了hive 詞法分析、語法分析、語義分析、中間代碼生成的過程.
AST語法樹舉例:
引申學習:
a. 從hivesql的執行機制可以看出, hive並不適合用於聯機事務處理, 無法提供實時查詢功能;最適合應用在基於大量不可變數據的批處理作業
b. Antlr的解析流程
c. hive的優化規則
2.3 flink sql
Flink SQL是Flink中最高級的抽象, 可以劃分爲 SQL --> Table API --> DataStream/DataSetAPI --> Stateful Stream Processing
Flink SQL包含 DML 數據操作語言、 DDL 數據語言， DQL 數據查詢語言，不包含DCL語言。
（1）首先，FlinkSQL 底層使用的是 apache Calcite 引擎來處理SQL語句，Calcite會使用 javaCC 做SQL解析，javaCC根據Calcite中定義的 Parser.jj 文件，生成一系列的java代碼，生成的java代碼會把SQL轉換成AST抽象語法樹（即SQLNode類型）。
（2）生成的 SqlNode 抽象語法樹，他是一個未經驗證的抽象語法樹，這時 SQL Validator 會獲取 Flink Catalog 中的元數據信息來驗證 sql 語法，元數據信息檢查包括表名，字段名，函數名，數據類型等檢查。然後生成一個校驗後的SqlNode。
（3）到達這步後，只是將 SQL 解析到 java 數據結構的固定節點上，並沒有給出相關節點之間的關聯關係以及每個節點的類型信息。
所以，還需要將 SqlNode 轉換爲邏輯計劃，也就是LogicalPlan，在轉換過程中，會使用 SqlToOperationConverter 類，來將 SqlNode 轉換爲 Operation，Operation 會根據SQL語法來執行創建表或者刪除表等操作，同時FlinkPlannerImpl.rel()方法會將SQLNode轉換成RelNode樹，並返回RelRoot。
（4）第4步將執行 Optimize 操作，按照預定義的優化規則 RelOptRule 優化邏輯計劃。
Calcite 中的優化器RelOptPlanner有兩種，一是基於規則優化（RBO）的HepPlanner，二是基於代價優化（CBO）的VolcanoPlanner。然後得到優化後的RelNode, 再基於Flink裏面的rules將優化後的邏輯計劃轉換成物理計劃。
（5）第5步 執行 execute 操作，會通過代碼生成 transformation，然後遞歸遍歷各節點，將DataStreamRelNode 轉換成DataStream，在這期間，會依次遞歸調用DataStreamUnion、DataStreamCalc、DataStreamScan類中重寫的 translateToPlan方法。遞歸調用各節點的translateToPlan，實際是利用CodeGen元編成Flink的各種算子，相當於直接利用Flink的DataSet或者DataStream開發程序。
（6）最後進一步編譯成可執行的 JobGraph 提交運行。
Flink SQL使用 Apache Calcite 作爲解析器和優化器
Calcite : 一種動態數據管理框架，它具備很多典型數據庫管理系統的功能 如SQL 解析、 SQL 校驗、 SQL 查詢優化、 SQL 生成以及數據連接查詢等，但是又省略了一些關鍵的功能，如 Calcite並不存儲相關的元數據和基本數據，不完全包含相關處理數據的算法等。
引申學習:
a. flink sql優化規則
三、常見SQL解析引擎
| 解析引擎 | 開發語言 | 使用場景 | 總結 |
|---|---|---|---|
| antlr | java | presto | 1. 包含三大主要功能: 詞法分析器、語法分析器、樹解析器2. 支持定義領域語言 |
| calcite | javaCC | flink | 1. 抽象語法樹2. 支持使用 FreeMarker 模版引擎擴展語法3. 能夠與數據庫創建查詢 |
持續補充ing...
四、總結
在實際工作過程中會涉及到相關的sql優化, 比如將非研發的業務老師寫的複雜嵌套sql後臺自動改爲非嵌套執行,提高查詢性能. 支持redisSQL, 以標準SQL格式解析成後臺可執行的redis命令. 目前採用的開源jsqlparser框架來實現語法樹的解析, 好處是操作簡單, 只對sql語句進行拆分, 解析成java類的層次結構,支持visitor模式, 與數據庫無關. 缺點是隻支持常見的SQL語法集, 如若要擴展語法需改其源碼, 對代碼的侵入性與維護性造成影響.想要做好sql解析優化相關的工作, 還是要深入瞭解sql的執行原理, 瞭解各個sql引擎的特點與優劣. 站在架構的角度來思考來思考問題.
工欲善其事，必先利其器.
作者：京東科技 李丹楓
來源：京東雲開發者社區 轉載請註明來源