YARN/Mesos调研

博文1:

Apache YARN/Mesos与Google Borg差距多远?http://dongxicheng.org/mapreduce-nextgen/yarn-mesos-borg/ 16月 08 .15年

  • 目前看来,Mesos/YARN的架构和设计上,与Google Borg仍有一定的差距,但需要注意的是,很多细节之处,都是tradeoff的结果,很难说哪种机制更适合我们的场景,对于搭建中小型的集群和数据中心,Mesos/YARN已经绰绰有余了。
  • 调度器均采用资源预留的调度机器上处理的不够好,但Mesos/YARN在大型集群计算中更容易出现资源饿死的情况,即某资源申请一直等不到分配。

浅谈Borg/YARN/Mesos/Torca/Corona一类系统http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/ 03 3 13年

 

  • 资源管理器出现的必要性:在大数据时代,数据量大、数据类型繁多,不同的数据处理业务场景需要不同的计算集群,如何对这些不同的计算集群进行资源的分配和管理以提高计算资源的利用率及集群的计算效率是诸如Brog/YARN等资源管理器应运而生的原因。
  • Borg/YARN/Mesos/Torca/Cornoa这一类系统本质上就是一台大型计算机,mapreduce/sparl/storm等计算引擎本质上就是运行在诸如Borg之上的应用。
  • 任何一个公司内部的所有硬件资源都可以看做是一个数据中心,通过Borg/YARN/Mesos/Torca/Cornoa这一类资源管理器进行统一管理后,所有的程序和服务将通过一个统一入口进入数据中心,并由这类系统进行监控、提供容错、汇报程序执行进度等。而至于应用程序或者服务运行在具体哪台机器上,所在的机器IP、端口是什么则不需要用户管理,统一交给管理系统进行管理。
  • 有了资源管理器,不需要为你为运行的计算框架的版本、类型而费心。
  • YARN的时代来了。

博文2:

Mesos:一个开源的分布式弹性资源管理系统http://dongxicheng.org/apache-mesos/mesos-and-yarn/ 五月 2, 2015

  • 目前看来,Hadoop YARN要比Mesos更主流,前景更广阔。
  • YARN在实现资源管理的系统前提下,能够和hadoop生态系统完美结合,在YARN的东家hortonworks看来,YARN定位为大数据中的数据操作系统,能够更好地为上层各类应用程序(MapReduce/Spark)提供资源管理和调度功能。另外,非常重要的一点,YARN的社区力量比Mesos强大的多,它的参与人员众多,周边系统的建设非常完善(包括Twill、clodera/Kitten)
  • YARN是从MapReduce中演化而来的,因而在大数据处理中扮演重要角色,但这也使得它受限:它现在还不能看做是一个通用的资源管理系统,太多的内部实现过于狭隘,比如资源申请和分配模型,对长服务的支持等。不过,YARN自己仍把它定位在通用资源管理系统上,因而在不断改进,比如最近的版本中,增加了对长服务和docker的支持。
  • 目前Mesos和YARN的优势还是稍有不同的,YARN更多地是用在大数据平台,对上层计算框架支持的非常好;而Mesos更多地是定位在资源的抽象和管理上,以便支持各种应用,不仅仅是计算框架。不过随着两者的不断完善,他们之间的界限越来越模糊。

 

 

Mesos和YARN的区别以及它们如何协同工作:http://dockone.io/article/927

资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析https://blog.csdn.net/iloveyin/article/details/30060017

博文3:

《Mesos大数据资源调度与大规模容器运行最佳实践》

大数据的规模和多样性导致,对于现代工作负载而言,传统的扩容策略已经落伍。因此,大型企业转向分布式处理,把大量计算机当成单个巨型机器来使用。很多资源需求各异的应用程序共享集群,多种框架高效共享资源的关键是力争达到资源的高利用率,需要将所有的小型机器合成单个大型计算机。Mesos天生就是这些计算机集群的核心。

传统的做法是,各种计算框架分别单独运行,在框架间静态划分资源,这样会导致资源的使用效率很低。将大量日常机器当做大型机器使用,能够在所有框架之间弹性地共享资源,这些需求都要求集群计算框架。Mesos的灵感来源于集群内多个计算框架之间共享资源和提供资源隔离的想法。

集群计算框架

资源管理程序面临巨大的挑战和互为矛盾的目标:

  • 高效性。
  • 隔离性。
  • 可伸缩性。
  • 健壮性。
  • 可扩展性。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章