yarn ui

我們安裝完Yarn後,可以在瀏覽器中通過http://master:8088來訪問Yarn的WEB UI,如下圖:
在這裏插入圖片描述

我們詳細解釋上圖中標記爲1(也就是cluster)和2(也就是Nodes)兩個界面中和資源有關的信息
在這裏插入圖片描述

對上面7個字段信息進行解釋:

1.Active Nodes:表示Yarn集羣管理的節點的個數,其實就是NodeManager的個數,我們集羣有2個NodeManager
2.Vcores Total:表示Yarn集羣管理的cpu的虛擬核心的總數,這個大小等於所有的NodeManager管理的虛擬核心之和,每一個NodeManager管理的虛擬核心數是通過yarn-site.xml中的如下配置進行配置的

yarn.nodemanager.resource.cpu-vcores 2 表示這個NodeManager管理的虛擬核心個數

從配置中可以看到每一個NodeManager管理的虛擬核心數是2,那麼整個Yarn集羣管理的虛擬核心的總數就是2 * 2 = 4,也就是我們看到的Vcores Total

3.Memory Total:表示Yarn集羣管理的內存的總大小,這個內存總大小等於所有的NodeManager管理的內存之和,每一個NodeManager管理的內存大小通過yarn-site.xml中的如下配置進行配置的:

yarn.nodemanager.resource.memory-mb 1630 表示這個NodeManager管理的內存大小

從配置中可以看到每一個NodeManager管理的內存大小是1630MB,那麼整個Yarn集羣管理的內存總大小就是1630MB * 2 = 3260MB約等於3.18GB,也就是我們看到的Memory Total

4.Scheduler Type:表示資源分配的類型,也就是我Hadoop-yarn安裝文章中說到的三中資源調度
5.Minimum Allocation:最小分配資源,就是說當一個任務向Yarn申請資源的時候,Yarn至少會分配<memory:1024, vCores:1>這個資源給這個任務,這個分配的最小內存和最小核心數可以分別由配置yarn.scheduler.minimum-allocation-mb(默認值是1024MB)和yarn.scheduler.minimum-allocation-vcores(默認值是1)來控制
6.Maximum Allocation:最大分配資源,就是說當一個任務向Yarn申請資源的時候,Yarn最多會分配<memory:1630, vCores:2>這個資源給這個任務,這個分配的最大內存和最多核心數可以分別由配置yarn.scheduler.maximum-allocation-mb(默認值是8192MB)和yarn.scheduler.maximum-allocation-vcores(默認值是32)來控制,當然這兩個值肯定不能比集羣管理的資源還要多
在這裏插入圖片描述

上面是Yarn集羣管理的兩個NodeManager的狀態信息,分別如下:
1.Rack:表示NodeManager所在的機器所在的機架
2.Node State:表示NodeManager的狀態
3.Mem Used:表示每個NodeManager已經使用了的內存大小。Mem Avail:表示每個NodeManager還剩多少可以使用的內存大小。VCores Used:表示每個NodeManager已經使用了的VCores數量。VCores Avail:表示每個NodeManager還剩多少可以使用的VCores數量。

點擊一個Node Address
在這裏插入圖片描述

進入到如下的界面:
在這裏插入圖片描述

這個界面上的信息是slave2上的NodeManager的詳細信息,其中,Total Vmem allocated for Containers表示這個NodeManager管理的虛擬內存的大小,虛擬內存大小由yarn-site.xml中的配置來設置的:

yarn.nodemanager.vmem-pmem-ratio 4.1 表示這個NodeManager管理的虛擬內存和物理內存大小的比例

上面配置yarn.nodemanager.vmem-pmem-ratio就是虛擬內存和物理內存大小的比例爲4.1,也就是說虛擬內存的大小是物理內存大小的4.1倍,所以虛擬內存大小是1630MB * 4.1 = 6683MB,約等於6.53GB

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章