SparkSQL 如何把sqlText转化成RDD可以执行的tasks 系列

​​​​​​​​​​​​​​​​​
在这里插入图片描述上图是一个通用的SparkSQL底层执行流程图.
具体流程如下描述(上图是一个lazy函数, 遇到active函数才会执行):
一、SparkSQL通过parser(解析器), 把sqlText转化成UnResolved Logical Plan.(这是一棵parsed Logical Plan AST语法树).
二、SparkSQL通过Analyer(分析器), 借助Catalog中的元数据(schema), 把UnResolved Logical Plan转化成Resolved Logical Plan.(这是一棵Analyzer Logical Plan AST语法树) .
三、SparkSQL通过Optimizer(优化器), 将执行计划转化为Optimized Logical Plan.
四、SparkSQL通过SparkPlan, 将执行计划转化为Phsical Plan.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章