Hadoop集羣資源管理器是什麼?它是如何爲上層應用提供資源管理和調度的呢?我們一起來看Apache Hadoop YARN的引入,爲集羣在利用率、資源統一管理和數據共享等方面帶來的巨大好處。
從開發人員來講提交作業(應用)到YARN集羣,通過YARN的UI來監控和管理作業。Hadoop給開發員提供了三種主要YARN工具:(1)Hue Job Browser;(2)YARN Web UI;(3)YARN命令。YARN管理員可以使用Cloudera Manager,包含在Cloudera Express和ClouderaEnterprise中,對開發人員也有一些幫助。下面我們一起來看具體組件的作用:
(1)Hue Job Browser:可以監控作業狀態、查看日誌、殺掉作業
(2)YARN Web UI:Resource Manager UI是主要的入口點,運行在RM主機的8088端口,相比Hue,提供了更多明細視圖(可以查看每一個應用下面的任務,任務裏面有多少attempt,以及一些日誌情況),但是它不提供任何控制或者配置。在這裏我們看一下YARN Web UI的類別:
1)Resource Manager UI:Nodes
2)Resource Manager UI:Applications
3)ResourceManager UI:Application Detail
(3)YARN命令行
1)通過命令配置和查看關於YARN集羣的信息
a)yarn <command>
2)大多數YARN命令行工具是爲管理員而不是開發員準備的
3)一些對開發員有用的命令
b)yarn application,使用-list來查看運行的應用,使用-kill來殺掉運行的應用.
c)yarn logs –applicationId<app-id>,查看特定應用的日誌
(4)Cloudera Manager
Cloudera Manager提供了強大地從單個節點監控和配置集羣的能力
YARN作爲Hadoop的資源管理器,給集羣的資源管理與共享帶來了便捷,但是我們必須明確YARN 在實際應用中的特點,才能夠更好的掌握和應用。大數據由於當下發展的需要,給每一位想要從事或者已經從事大數據的人員提供了機遇和挑戰,我們不僅要多方位思考總結,還要借鑑和學習別人的經驗,不斷地改善自己的知識架構,纔會取得更大的進步。平時可以關注“大數據cn”這樣的微信資訊平臺,上面分享的大數據相關知識對於我們從業者來說,很新穎獨特,對開闊我們的視野,拓展我們的知識面,激發我們的思維都有着很好地幫助作用!