Yarn 簡介

1. 什麼是Yarn ?

Yarn -- 通用資源管理系統和調度平臺

2. Yarn 特點

1、支持多計算框架
2、資源利用率高,運行成本低,數據共享。

Yarn資源管理只包括內存與CPU,Yarn回去彙總集羣內所有節點上的CPU總和數,和內存總數量。ss(不包括磁盤和網絡)
Yarn的意義:降低了企業硬件的成本(多個集羣變成一個集羣),減少了資源的了浪費,運營成本低。

3. Yarn基本組成

	ResourceManager     :一個集羣資源調度的管理者
	NodeManager		    :一個節點資源調度的管理者(集羣各個節點資源的工作者)
	ApplicationMaster	: 一個計算任務的管理者	
	Container		    : 容器(cpu 和 內存)

在這裏插入圖片描述

4. Yarn提交任務的流程

在這裏插入圖片描述

1、client向RM提交應用程序,其中包括啓動該應用的ApplicationMaster的必須信息,例如ApplicationMaster程序、啓動ApplicationMaster的命令、用戶程序等。
2、ResourceManager啓動一個container用於運行ApplicationMaster。
3、啓動中的ApplicationMaster向ResourceManager註冊自己,啓動成功後與RM保持心跳。
4、ApplicationMaster向ResourceManager發送請求,申請相應數目的container。
5、申請成功的container,由ApplicationMaster進行初始化。container的啓動信息初始化後,AM與對應的NodeManager通信,要求NM啓動container。
6、NM啓動啓動container。
7、container運行期間,ApplicationMaster對container進行監控。container通過RPC協議向對應的AM彙報自己的進度和狀態等信息。
8、應用運行結束後,ApplicationMaster向ResourceManager註銷自己,並允許屬於它的container被收回。

提交任務的詳細流程
在這裏插入圖片描述

5. Yarn的調度

1、先進先出(FIFO Scheduler):優先提交的,優先執行,後面提交的等待。(火車過隧道)。

2、容量調度(Capacity Scheduler):允許看創建多個任務對列,多個任務對列可以同時執行。但是一個隊列內部還是先進先出。CDH默認的調度器。

3、公平調度(Fair Scheduler):第一個程序在啓動時可以佔用其他對列的資源(100%佔用),當其他對列有任務提交時,佔用資源的對列需要將資源還給該任務。還資源的時候,效率比較慢。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章