Yarn 源碼 | 分佈式資源調度引擎 Yarn 內核源碼剖析

曾有人調侃：HBase 沒有資源什麼事情也做不了，Spark 佔用了資源卻沒有事情可做？

那 YARN瞭解一下？

YARN！

伴隨着Hadoop生態的發展，不斷湧現了多種多樣的技術組件 Hive、HBase、Spark……它們在豐富了大數據生態體系的同時，也引發了新的問題思考。

熟悉大數據底層平臺的朋友，應該都瞭解這些爲大數據場景設計的技術組件不僅個個都是消耗資源的大戶，而且它們本有一套自己的資源調度系統用來管理任務的資源分配，但同時部署在一起的時候就出問題了：

一、某些組件可能申請不到服務器資源。

二、可能會出現資源分配不合理的情況，導致整體資源使用率偏低。

爲了解決這些問題，則迫切需要一種通用的資源調度框架，對整個集羣的資源進行統籌管理。

YARN有何優勢？

YARN 在 Hadoop 集羣中充當資源管理和任務調度的框架，可爲上層應用提供統一的資源管理和調度，它的引入爲集羣在利用率、資源統一管理和數據共享等方面帶來了巨大好處。

YARN 解決了 Hadoop 第一代集羣資源調度框架上可靠性差、擴展性差等一系列問題，我們來看一下它的優勢：

1. 提出了 HDFS Federation，能夠讓多個 NameNode 分管不同的目錄進而實現訪問隔離和橫向擴展；

2. 將資源管理和作業控制分離，ResouceManager專管資源管理和調度，ApplicationMaster負責與具體應用程序相關的任務切分、任務調度和容錯等，每個應用程序對應一個ApplicationMaster；

3. 具有向後兼容性，用戶在 MRv1上運行的作業，不用修改即可運行在 YARN 之上；

4. 能夠支持不同的計算框架，可以將各種各樣的計算框架移植到 YARN 之上，由 YARN 進行統一管理和資源分配；

5. 框架升級更容易，各種計算框架不再是作爲一個服務部署到集羣的各個節點上而是被封裝成一個用戶程序庫（lib）存放在客戶端，想對計算框架進行升級時，只要升級用戶程序庫即可。

衆所周知， Spark、Hive等一系列服務都可以作爲應用運行在YARN之上 ，統一使用 YARN 爲整個集羣資源進行宏觀的調度與分配。

而對於學習YARN不僅爲了應對工作上遇到的相關技術問題，更是因爲 想要成功進入阿里、字節還是美團等互聯網大廠，YARN在面試時都是高頻考點 ，所以掌握它至關重要。

正好我也在在補 Hadoop 生態的核心原理，這裏推薦一門剛擼完的獨家好課，由前58技術委員會主席孫玄，結合10多年一線大廠實踐經驗，打造的《源碼級剖析分佈式資源調度引擎 YARN 內核》在線專欄。3 天時間，12節乾貨，帶你從大數據高峯視角，徹底看透 YARN 的內核設計本質。

原價 ¥ 499 ，限時 ¥1.99 立刻學習！

長按掃碼👆，鎖定 ¥1.99 名額

僅前 50 人有效，先到先得！

報名即享受大廠專屬內推

更有求職大禮包，免費送～

主講馬中華老師，是阿里雲/騰訊雲認證的全球首位金牌講師，在 Oracle 有多年的大數據開發經驗。跟着他學習 YARN 的源碼架構與內核，有問題就在直播間和羣裏隨時提問，幾乎沒有什麼好顧慮的。況且，前轉轉公司大數據資深架構師、Hadoop平臺負責人李希沅老師也會加入授課，解答你所以大數據的核心問題。

這套在線專欄原價 499，現在花 1.99 元，就能馬上學習，絕對相當划算。重要的是現在課程重磅升級，升級後的課程體系緊隨一線互聯網大廠前沿技術，新增實戰項目、高級商業項目，全方位提升學員實戰能力，全面提升課程的實用性、先進性。

12 節名師精心打磨的大數據架構師必備技術知識精品課程，8月30 - 9月01日，3天速成，晚20:00-22:00點，助你趕超下一個行業風口。

重要提醒： 一次報名，全程贈送講師答疑服務！報名即可領取價值 99 元的 12 本 程序員必讀電子書目。數據庫、Hadoop、Docker、Hive、Hbase 一應俱全，幫助你在通過課程提升的基礎上，從理論層面全面進階。

VIP課程免費領取： 報名就送價值 499元的 【SparkStreaming企業級實戰訓練營】，針對企業級實時處理方案進行全方位的講解。內容包含：SparkStreaming技術的核心原理剖析，SparkStreaming項目的企業級架構設計方案，SparkStreaming實時任務的監控告警架構設計方案等。