SparkSQL 如何把sqlText轉化成RDD可以執行的tasks 系列

​​​​​​​​​​​​​​​​​
在這裏插入圖片描述上圖是一個通用的SparkSQL底層執行流程圖.
具體流程如下描述(上圖是一個lazy函數, 遇到active函數纔會執行):
一、SparkSQL通過parser(解析器), 把sqlText轉化成UnResolved Logical Plan.(這是一棵parsed Logical Plan AST語法樹).
二、SparkSQL通過Analyer(分析器), 藉助Catalog中的元數據(schema), 把UnResolved Logical Plan轉化成Resolved Logical Plan.(這是一棵Analyzer Logical Plan AST語法樹) .
三、SparkSQL通過Optimizer(優化器), 將執行計劃轉化爲Optimized Logical Plan.
四、SparkSQL通過SparkPlan, 將執行計劃轉化爲Phsical Plan.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章