概要
介绍提交Stage的流程，继续沿用Spark DAG之划分Stage中的例子。
前提
上篇博客Spark DAG之划分Stage介绍了划分Stage的流程，举的例子最后生成的Stage如下
划分Stage阶段完成后，DAGScheduler的handleJobSubmitted方法提交Stage，如下
本篇博客重点就是讲解上图中的两个方法，其中的finalStage变量以第一幅图为例。
submitStage
查看submitStage方法
submitStage方法的主要作用如图中注释，其涉及到三个重要集合
| waitingStages | 等待运行的Stage |
| runningStages | 正在运行的Stage |
| failedStages | 运行失败的Stage |
限于篇幅，关于submitStage中的其他方法不再详解。最后submitStage中的流程大致如下
上面流程图中父Stage是否执行完毕是如何判断的？
如上图，调用ShuffleMapStage的isAvailable方法判断。每当执行完一个Task会对变量_numAvailableOutputs加1，直至所有Task执行完，_numAvailableOutputs等于分区数。
以Spark DAG之划分Stage中切分的Stage为例，执行submitStage(finalStage)，此时finalStage的值为ResultStage 4(参考第一幅图)，submitStage方法执行完状态如下
| 集合 | 包含的Stage | 状态 |
| runningStages | ShuffleMapStage 0、ShuffleMapStage 2 | 转为ShuffleMapTask，发送给Executor执行 |
| waitingStages | ShuffleMapStage 1、ShuffleMapStage 3、ResultStage 4 | 等待 |
| failedStages | 空 |
submitWaitingStages
submitStage方法执行完毕后调用submitWaitingStages方法，查看该方法
该方法非常简单，职责如下
- 拷贝集合waitingStages到waitingStagesCopy，清空waitingStages。
- 遍历waitingStagesCopy中的Stage，调用submitStage方法。
submitStage的流程上面刚介绍过，submitWaitingStages的流程如下
submitWaitingStages的作用
- 结合Spark DAG之划分Stage的例子，submitStage方法执行后，集合中元素如下
| waitingStages | ShuffleMapStage 1、ShuffleMapStage 3、ResultStage 4 |
| runningStages | ShuffleMapStage 0、ShuffleMapStage 2 |
- submitWaitingStages方法中调用submitStage依次提交waitingStages的Stage。我们假设执行submitWaitingStages前，ShuffleMapStage 0已执行完毕，ShuffleMapStage 2没有(其他情况也简单，不一一列举)，那么submitWaitingStages方法执行后
| waitingStages | ShuffleMapStage 3、ResultStage 4 |
| runningStages | ShuffleMapStage 1、ShuffleMapStage 2 |
| Completed | ShuffleMapStage 0 |
可以看出调用一次submitWaitingStages方法不能完成所有Stage的提交，需要多次的调用，就是说，提交一个Stage必须其父Stage全部运算完毕。接下来看下哪些事件会触发submitWaitingStages。
再次触发submitWaitingStages方法的事件
- Spark DAG之SubmitJob中介绍了DAGSchedulerEvent，具体的事件类型如下，DAGScheduler对所有事件的处理都会再调用一次submitWaitingStages。
| JobSubmitted | MapStageSubmitted |
| StageCancelled | JobCancelled |
| JobGroupCancelled | AllJobsCancelled |
| BeginEvent | GettingResultEvent |
| CompletionEvent | ExecutorAdded |
| ExecutorLost | TaskSetFailed |
| ResubmitFailedStages |
总结
围绕submitStage和submitWaitingStages方法，通过流程图，介绍如何提交Stage，大致如下
- 调用submitStage提交Stage。
- DAGScheduler处理定义的各种事件都会调用一次submitWaitingStages方法，submitWaitingStages继续调用submitStage提交处于waiting状态的Stage，直至所有Stage执行完毕。