YARN並不是下一代 MapReduce (MRv2),下一代 MapReduce 與第一代 MapReduce (MRv1)在編程接口、數據處理引擎(MapTask和ReduceTask)是完全一樣的, 可認爲 MRv2 重用了 MRv1 的這些模塊,不同的是資源管理和作業管理系統, MRv1 中資源管理和作業管理均是由 JobTracker 實現的,集兩個功能於一身,而在 MRv2 中,將這兩部分分開了, 其中,作業管理由 ApplicationMaster 實現,而資源管理由新增系統 YARN 完成,由於YARN具有通用性,因此 YARN 也可以作爲其他計算框架的資源管理系統,不僅限於 MapReduce ,也是其他計算框架,比如 Spark 、 Storm 等, 通常而言,我們一般將運行在 YARN 上的計算框架稱爲“X on YARN”,比如“MapReduce On YARN”, “Spark On YARN”,“Storm On YARN”等。
Hadoop MapReduce和Yarn的關係
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
cdh設置hdfs權限
原創
2022-12-19 09:37:26
開源80萬行代碼,微衆銀行如何在小團隊規模下煉出一套一站式大數據平臺 | 卓越技術團隊訪談錄
Tina
2021-12-21 10:53:51
Uber容器化Apache Hadoop基礎設施的實踐
Uber 技术团队
2021-11-19 09:03:49
基礎軟件創業 8 年,星環科技如何精準“踩點”? | C位面對面
InfoQ 中文站
2021-11-08 14:38:55
基礎軟件創業 8 年,如何精準“踩點”? | C位面對面
赵钰莹
2021-11-02 09:28:56
拋棄Hadoop,數據湖才能重獲新生
Tina
2021-10-28 14:23:59
Hadoop 生態裏,爲什麼 Hive 活下來了?
Einat Orr 博士
2021-10-08 19:08:56
成功從 Hadoop 遷移到 Lakehouse 架構的 5 個關鍵步驟
Harsh Narula
2021-10-08 10:38:57
基於阿里雲部署的CDP產品詳情
Xuefeng Wang
2021-08-18 15:43:52
架構師(2021年7月)
InfoQ 中文站
2021-07-08 08:03:58
從廣告監測到知識圖譜,明略千億大數據處理能力是如何煉成的?
万佳
2021-05-18 11:03:58
11天裏13個Apache開源項目宣佈退休,Hadoop的時代結束了
Andrew Brust
2021-05-18 10:03:54
Hadoop 的“遺產”
Tony Baer
2021-05-08 09:58:53