上图是一个通用的SparkSQL底层执行流程图.
具体流程如下描述(上图是一个lazy函数, 遇到active函数才会执行):
一、SparkSQL通过parser(解析器), 把sqlText转化成UnResolved Logical Plan.(这是一棵parsed Logical Plan AST语法树).
二、SparkSQL通过Analyer(分析器), 借助Catalog中的元数据(schema), 把UnResolved Logical Plan转化成Resolved Logical Plan.(这是一棵Analyzer Logical Plan AST语法树) .
三、SparkSQL通过Optimizer(优化器), 将执行计划转化为Optimized Logical Plan.
四、SparkSQL通过SparkPlan, 将执行计划转化为Phsical Plan.
SparkSQL 如何把sqlText转化成RDD可以执行的tasks 系列
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
构建无服务器数仓(三 )EMR Serverless 操作要点、优化以及开放集成测试
原創
2024-05-23 21:22:10
五款扩展组件齐发 —— Volcano、Keda、Crane-scheduler 等,邀你体验
原創
2024-05-23 11:17:40
企业大模型如何成为自己数据的“百科全书”?
原創
2024-05-15 21:22:50
Sql Server数据库sql语句去除所有空格
原創
2024-05-08 23:32:56
Apache DolphinScheduler 4月简报:社区发展与技术革新速递
原創
2024-05-08 21:19:32
利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库
原創
2024-04-25 21:18:23
对接HiveMetaStore,拥抱开源大数据
原創
2024-04-24 22:33:08
【案例+PPT】普元信息臧一超:海量数据下“流批一体”的数据平台演进路线
原創
2024-04-23 11:43:51
入职3年-我如何做一名AI产品经理
原創
2024-04-22 11:16:31
WhaleScheduler为银行业全信创环境打造统一调度管理平台解决方案
原創
2024-04-19 21:18:25
用户行为分析模型实践(四)—— 留存分析模型
原創
2024-04-19 11:26:00
解密数仓的SQL ON ANYWHERE技术
原創
2024-04-03 10:32:41
海豚调度任务类型Apache SeaTunnel部署指南
原創
2024-04-02 21:18:16
探索GaussDB(DWS)湖仓融合:Hudi与元数据打通的深度解析
原創
2024-04-01 22:33:07
24小時熱門文章
-
再谈23种设计模式(3):行为型模式(学习笔记)
-
Power Automate Desktop 安装完,登录后老是提示one driver 错误
-
微前端学习笔记(4):从微前端到微模块之EMP与hel-micro方案探索
-
微前端学习笔记(1):微前端总体架构概述,从微服务发微
-
985 硕士程序员,空窗 4 个月没有 Offer!
-
一文搞懂 Spring 循环依赖
-
赛博斗地主——使用大语言模型扮演Agent智能体玩牌类游戏。
-
VScode右键打开(添加到右键)
-
记一次 .NET某工控视觉自动化系统 卡死分析
-
WindowsServer--SQL Server搭建主从同步实现读写分离 - 事务性分发