爲什麼巨頭公司的Spark、Flink 作業運行都在 YARN 上？

這兩天有粉絲問我，你們公司的 Flink 作業運行在什麼上面？我的回答是：YARN。

之前我做過一些調查，發現目前還是有很多公司的大數據計算平臺離不開 YARN，會將 MapReduce、Spark、Flink 等任務運行在 YARN 集羣上面。

小夥伴們，想問一句：你們對它瞭解嗎？

大數據技術棧一覽

接下來，我順着一個成熟大數據系統的工作模式反覆考慮，最終有了結論：任何一個分佈式程序執行，都需要從系統申請資源。

我認爲，大數據系統的核心是 Hadoop 集羣中的資源管理模塊——YARN！

01

分佈式資源調度引擎 YARN

YARN 從 Hadoop 2.0 之後被引入，一經推出，便迅速成爲最受歡迎的分佈式資源調度框架，負責管理集羣中的全部資源，以及調度運行在YARN之上的各種計算任務。

像 HDFS 的核心組件一樣，YARN 同樣是主從結構，核心是Resource Manager、NodeManager、ApplicationMaster、Container 組件。

YARN 的實現邏輯與基本架構

YARN 的功能非常強大，但實現原理也非常複雜。JobTracker、TaskTracker模型的最大缺陷是擴展性差，YARN 利用 Resource Manager 解耦後分而治之，大大提升了擴展性。

02

大廠爲什麼重視 YARN

基於 Hadoop 構建大數據生態的公司集羣規模一般都很大，主要是 BATJ 華爲等一線互聯網大廠，而 Hadoop 最核心的 3 大部分就是  HDFS、YARN、MapReduce 。

YARN 自從誕生開始，就越來越被大量企業作爲大數據領域核心基礎平臺使用，掌握了 YARN 就等於掌握了 Hadoop 的核心，也就擁有了大數據領域的核心競爭力！

Hadoop 3 大核心組件

最近我一直在補 Hadoop 生態的核心原理，這裏推薦一門剛擼完的獨家好課，由前58技術委員會主席孫玄，結合10多年一線大廠實踐經驗，打造的《 源碼級剖析分佈式資源調度引擎 YARN 內核 》在線專欄。 3  天時間，12節乾貨，帶你從大數據高峯視角，徹底看透 YARN 的內核設計本質。

原價 ¥ 499 ，限時  ¥0.99 立刻學習！

長按掃碼👆，鎖定 ¥0.99 名額

僅前 50 人有效，先到先得！

主講馬中華老師，是阿里雲/騰訊雲認證的全球首位金牌講師，在 Oracle 有多年的大數據開發經驗。跟着他學習 YARN 的源碼架構與內核，有問題就在直播間和羣裏隨時提問，幾乎沒有什麼好顧慮的。況且，前轉轉公司大數據資深架構師、Hadoop平臺負責人李希沅老師也會加入授課，解答你所以大數據的核心問題。

這套在線專欄原價499，現在花0.99元，不到一次共享單車騎行就能馬上學習，絕對相當划算。12 節名師精心打磨的大數據架構師必備技術知識精品課程，8月16 - 8月18日，3天速成，晚20:00-22:00點，助你趕超下一個行業風口。

重要提醒： 一次報名，全程贈送講師答疑服務！報名即可領取價值 99 元的  12 本 程序員必讀電子書目。數據庫、Hadoop、Docker、Hive、Hbase 一應俱全，幫助你在通過課程提升的基礎上，從理論層面全面進階。

03

我爲什麼推薦你學習這門課

報名成功後，前58技術委員會主席孫玄、前轉轉公司資深大數據架構師李希沅和馬中華家老師，將全程爲你提供答疑服務，並在爲期 3 天的實戰訓練營中，重點培養你具備以下能力：

1. 完全通曉 YARN 如何應對高併發請求處理

2. 徹底理解 YARN 的內核架構設計與實現

3. 輕鬆吸收 YARN 源碼編程實現中的實用技巧

4. 細緻掌握 YARN 的工作機制和底層原理

課程模塊

本期精品課程爲期3天，內容由3大篇章12大模塊構成，包括：

• Day01 YARN 高併發網絡通信 RPC 架構設計和源碼實現

• Day02 YARN 內核架構三大核心組件深度剖析
  

• Day03 YARN Application 提交和部署運行全流程詳解

模塊一：高併發網絡通信 RPC 架構設計和源碼實現篇

在第一天課程中，名師將深入爲你講解 YARN RPC 架構設計與源碼實現，重點剖析一線大廠面試中經常問及的通信協議、心跳機制、驗活機制等核心概念。

模塊二：內核架構三大核心組件深度剖析篇

第二天課程將深入解讀 YARN 內核架構的三大核心組件，幫助你瞭解Service 工作機制、AsyncDispatcher 異步驅動模型、EnventHandler 事件處理器、StateMachine 狀態機設計。

模塊三：Application 提交和部署運行全流程詳解篇

最後一天課程將以萬億級企業大數據平臺爲引，全流程帶你深入掌握 YARN Application 等核心部分的應用與實戰。

明星級教學教研團隊

金牌教研團 ，平均從業年限10年以上，具備大廠實戰經驗，對技術深度鑽研，對教學精益求精，歷時半年精打細磨。

行業大咖級主講 ，Apache Pulsar、Apache BookKeeper 核心 PMC 與 Committer。

備教測練評學習閉環 ，幫助學員循序漸進提升技術硬實力，老師全程輔導，穩步提升職場軟實力。

適合誰學

技術浪潮一個接一個，總會有新技術不斷湧現，作爲技術從業者，最怕的就是還在用老技術解決別人早就解決了的問題。如果你是一名：

1. 分佈式系統開發工程師

2. 大數據平臺工程師

3. 大數據研發工程師

4. 大數據架構師

5. 數據倉庫工程師

6. 後端開發工程師（Java/Go/C++/PHP/Python等語言方向）

7. 架構師（大數據/雲原生/平臺/系統/業務等方向）

那麼，這門實踐精品課正是爲你量身定做的！

行業名師好評如潮

教研教學更有保障

左右滑動查看更多

源碼級剖析大數據核心框架 YARN 

大數據架構師必知必會

你需要真正掌握它！

12 節乾貨

3 天速成精品課

原價 499 

歷史新低價 0.99

錯過再等一年

👇👇👇

本公衆號僅限 前50名 特惠購買

請耐心等待課程顧問通過

      

0.99 低價好課

贈送 超值電子書 、 名師答疑 服務

👇 點擊“ 閱讀原文 ”搶佔優惠名額！

本文分享自微信公衆號 - 大數據技術與架構（import_bigdata）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。