YARN并不是下一代 MapReduce (MRv2),下一代 MapReduce 与第一代 MapReduce (MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为 MRv2 重用了 MRv1 的这些模块,不同的是资源管理和作业管理系统, MRv1 中资源管理和作业管理均是由 JobTracker 实现的,集两个功能于一身,而在 MRv2 中,将这两部分分开了, 其中,作业管理由 ApplicationMaster 实现,而资源管理由新增系统 YARN 完成,由于YARN具有通用性,因此 YARN 也可以作为其他计算框架的资源管理系统,不仅限于 MapReduce ,也是其他计算框架,比如 Spark 、 Storm 等, 通常而言,我们一般将运行在 YARN 上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, “Spark On YARN”,“Storm On YARN”等。
Hadoop MapReduce和Yarn的关系
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
cdh设置hdfs权限
原創
2022-12-19 09:37:26
开源80万行代码,微众银行如何在小团队规模下炼出一套一站式大数据平台 | 卓越技术团队访谈录
Tina
2021-12-21 10:53:51
Uber容器化Apache Hadoop基础设施的实践
Uber 技术团队
2021-11-19 09:03:49
基础软件创业 8 年,星环科技如何精准“踩点”? | C位面对面
InfoQ 中文站
2021-11-08 14:38:55
基础软件创业 8 年,如何精准“踩点”? | C位面对面
赵钰莹
2021-11-02 09:28:56
抛弃Hadoop,数据湖才能重获新生
Tina
2021-10-28 14:23:59
Hadoop 生态里,为什么 Hive 活下来了?
Einat Orr 博士
2021-10-08 19:08:56
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
Harsh Narula
2021-10-08 10:38:57
基于阿里云部署的CDP产品详情
Xuefeng Wang
2021-08-18 15:43:52
架构师(2021年7月)
InfoQ 中文站
2021-07-08 08:03:58
从广告监测到知识图谱,明略千亿大数据处理能力是如何炼成的?
万佳
2021-05-18 11:03:58
11天里13个Apache开源项目宣布退休,Hadoop的时代结束了
Andrew Brust
2021-05-18 10:03:54
Hadoop 的“遗产”
Tony Baer
2021-05-08 09:58:53