前言
我们在之前的博客中讲过，TaskScheduler负责每个具体任务的实际物理调度，DAGScheduler负责将作业拆分成为不停阶段的具体有依赖关系的多批任务，可以理解为DAGScheduler负责任务的逻辑调度。
本篇博客，结合这段时间看过的一些书籍，南国在这里重点回顾一下Spark中作业调度的相关知识。
作业调度的顶层逻辑概述
作业调度的具体工作流程
作业调度的基本流程如下图所示：
调度阶段的拆分
构建一个新的Stage,这个新的Stage的输出结果的分区方式，则由ShuffleDependency中的Partition对象就决定。
调度阶段的提交
此外，每完成一次DAGSchduler的事件循环，也会触发一次从等待和失败列表中扫描并提交Stage的调用过程。
任务集的提交
完成状态的监控
简单来说，这是通过对外（主要是对TaskSchduler）暴露一系列的回调函数来实现的。对于TaskScheduler来说，这些回调函数主要包括任务的开始结束失败、任务集的失败，DAGSchduler根据这些任务的生命周期进一步维护作业和调度阶段的状态信息。
任务结果的获取
调度池和调度模式分析
