MapReduce任務的執行流程非常複雜,但是可以用一個比較粗糙的流程圖來描述,描述了一個MapReduce任務從提交到分發和執行完畢的完整過程:
這裏要提一下YARN框架,它主要負責的是資源的調度,YARN集羣包含兩種節點,一種是ResourceManager,這個主要負責資源的管理和調度,一種是NodeManager,這個主要負責任務的運行。
下面把ResourceManager簡稱爲MR,將NodeManager簡稱爲NM,則執行流程可以概括如下:
MapReduce任務的執行流程非常複雜,但是可以用一個比較粗糙的流程圖來描述,描述了一個MapReduce任務從提交到分發和執行完畢的完整過程:
這裏要提一下YARN框架,它主要負責的是資源的調度,YARN集羣包含兩種節點,一種是ResourceManager,這個主要負責資源的管理和調度,一種是NodeManager,這個主要負責任務的運行。
下面把ResourceManager簡稱爲MR,將NodeManager簡稱爲NM,則執行流程可以概括如下: