MapReduce任务的执行流程非常复杂,但是可以用一个比较粗糙的流程图来描述,描述了一个MapReduce任务从提交到分发和执行完毕的完整过程:
这里要提一下YARN框架,它主要负责的是资源的调度,YARN集群包含两种节点,一种是ResourceManager,这个主要负责资源的管理和调度,一种是NodeManager,这个主要负责任务的运行。
下面把ResourceManager简称为MR,将NodeManager简称为NM,则执行流程可以概括如下:
MapReduce任务的执行流程非常复杂,但是可以用一个比较粗糙的流程图来描述,描述了一个MapReduce任务从提交到分发和执行完毕的完整过程:
这里要提一下YARN框架,它主要负责的是资源的调度,YARN集群包含两种节点,一种是ResourceManager,这个主要负责资源的管理和调度,一种是NodeManager,这个主要负责任务的运行。
下面把ResourceManager简称为MR,将NodeManager简称为NM,则执行流程可以概括如下: