我們安裝完Yarn後,可以在瀏覽器中通過http://master:8088來訪問Yarn的WEB UI,如下圖:
我們詳細解釋上圖中標記爲1(也就是cluster)和2(也就是Nodes)兩個界面中和資源有關的信息
對上面7個字段信息進行解釋:
1.Active Nodes:表示Yarn集羣管理的節點的個數,其實就是NodeManager的個數,我們集羣有2個NodeManager
2.Vcores Total:表示Yarn集羣管理的cpu的虛擬核心的總數,這個大小等於所有的NodeManager管理的虛擬核心之和,每一個NodeManager管理的虛擬核心數是通過yarn-site.xml中的如下配置進行配置的
從配置中可以看到每一個NodeManager管理的虛擬核心數是2,那麼整個Yarn集羣管理的虛擬核心的總數就是2 * 2 = 4,也就是我們看到的Vcores Total
3.Memory Total:表示Yarn集羣管理的內存的總大小,這個內存總大小等於所有的NodeManager管理的內存之和,每一個NodeManager管理的內存大小通過yarn-site.xml中的如下配置進行配置的:
yarn.nodemanager.resource.memory-mb 1630 表示這個NodeManager管理的內存大小從配置中可以看到每一個NodeManager管理的內存大小是1630MB,那麼整個Yarn集羣管理的內存總大小就是1630MB * 2 = 3260MB約等於3.18GB,也就是我們看到的Memory Total
4.Scheduler Type:表示資源分配的類型,也就是我Hadoop-yarn安裝文章中說到的三中資源調度
5.Minimum Allocation:最小分配資源,就是說當一個任務向Yarn申請資源的時候,Yarn至少會分配<memory:1024, vCores:1>這個資源給這個任務,這個分配的最小內存和最小核心數可以分別由配置yarn.scheduler.minimum-allocation-mb(默認值是1024MB)和yarn.scheduler.minimum-allocation-vcores(默認值是1)來控制
6.Maximum Allocation:最大分配資源,就是說當一個任務向Yarn申請資源的時候,Yarn最多會分配<memory:1630, vCores:2>這個資源給這個任務,這個分配的最大內存和最多核心數可以分別由配置yarn.scheduler.maximum-allocation-mb(默認值是8192MB)和yarn.scheduler.maximum-allocation-vcores(默認值是32)來控制,當然這兩個值肯定不能比集羣管理的資源還要多
上面是Yarn集羣管理的兩個NodeManager的狀態信息,分別如下:
1.Rack:表示NodeManager所在的機器所在的機架
2.Node State:表示NodeManager的狀態
3.Mem Used:表示每個NodeManager已經使用了的內存大小。Mem Avail:表示每個NodeManager還剩多少可以使用的內存大小。VCores Used:表示每個NodeManager已經使用了的VCores數量。VCores Avail:表示每個NodeManager還剩多少可以使用的VCores數量。
點擊一個Node Address
進入到如下的界面:
這個界面上的信息是slave2上的NodeManager的詳細信息,其中,Total Vmem allocated for Containers表示這個NodeManager管理的虛擬內存的大小,虛擬內存大小由yarn-site.xml中的配置來設置的:
yarn.nodemanager.vmem-pmem-ratio 4.1 表示這個NodeManager管理的虛擬內存和物理內存大小的比例上面配置yarn.nodemanager.vmem-pmem-ratio就是虛擬內存和物理內存大小的比例爲4.1,也就是說虛擬內存的大小是物理內存大小的4.1倍,所以虛擬內存大小是1630MB * 4.1 = 6683MB,約等於6.53GB