大數據資源如何管理


Hadoop集羣資源管理器是什麼?它是如何爲上層應用提供資源管理和調度的呢?我們一起來看Apache Hadoop YARN的引入,爲集羣在利用率、資源統一管理和數據共享等方面帶來的巨大好處。

從開發人員來講提交作業(應用)到YARN集羣,通過YARNUI來監控和管理作業。Hadoop給開發員提供了三種主要YARN工具:(1Hue Job Browser;(2YARN Web UI;(3YARN命令。YARN管理員可以使用Cloudera Manager,包含在Cloudera ExpressClouderaEnterprise中,對開發人員也有一些幫助。下面我們一起來看具體組件的作用:

1Hue Job Browser可以監控作業狀態查看日誌殺掉作業wKioL1hh5PjxCcP-AAEWRMH67dg888.png-wh_50

2YARN Web UIResource Manager UI是主要的入口點,運行在RM主機的8088端口,相比Hue,提供了更多明細視圖(可以查看每一個應用下面的任務,任務裏面有多少attempt,以及一些日誌情況),但是它不提供任何控制或者配置。在這裏我們看一下YARN Web UI的類別:

1)Resource Manager UINodes

wKiom1hh5QmAIB2nAAJRGJQTRmg051.png-wh_50

2)Resource Manager UIApplications

wKiom1hh5RaTK_ihAANts72Y7XQ262.png-wh_50

3)ResourceManager UIApplication DetailwKiom1hh5STSL2qdAAJTojKvCfU697.png-wh_50

(3)YARN命令行

1)通過命令配置和查看關於YARN集羣的信息

a)yarn <command>

2)大多數YARN命令行工具是爲管理員而不是開發員準備的

3)一些對開發員有用的命令

b)yarn application,使用-list來查看運行的應用,使用-kill來殺掉運行的應用.

c)yarn logs applicationId<app-id>,查看特定應用的日誌

4Cloudera Manager

Cloudera Manager提供了強大地從單個節點監控和配置集羣的能力wKioL1hh5TOTgg2dAAGRa1-i5T4209.png-wh_50

YARN作爲Hadoop的資源管理器,給集羣的資源管理與共享帶來了便捷,但是我們必須明確YARN 在實際應用中的特點,才能夠更好的掌握和應用。大數據由於當下發展的需要,給每一位想要從事或者已經從事大數據的人員提供了機遇和挑戰,我們不僅要多方位思考總結,還要借鑑和學習別人的經驗,不斷地改善自己的知識架構,纔會取得更大的進步。平時可以關注“大數據cn”這樣的微信資訊平臺,上面分享的大數據相關知識對於我們從業者來說,很新穎獨特,對開闊我們的視野,拓展我們的知識面,激發我們的思維都有着很好地幫助作用!

 

 


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章