YARN/Mesos調研

博文1:

Apache YARN/Mesos與Google Borg差距多遠?http://dongxicheng.org/mapreduce-nextgen/yarn-mesos-borg/ 16月 08 .15年

  • 目前看來,Mesos/YARN的架構和設計上,與Google Borg仍有一定的差距,但需要注意的是,很多細節之處,都是tradeoff的結果,很難說哪種機制更適合我們的場景,對於搭建中小型的集羣和數據中心,Mesos/YARN已經綽綽有餘了。
  • 調度器均採用資源預留的調度機器上處理的不夠好,但Mesos/YARN在大型集羣計算中更容易出現資源餓死的情況,即某資源申請一直等不到分配。

淺談Borg/YARN/Mesos/Torca/Corona一類系統http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/ 03 3 13年

 

  • 資源管理器出現的必要性:在大數據時代,數據量大、數據類型繁多,不同的數據處理業務場景需要不同的計算集羣,如何對這些不同的計算集羣進行資源的分配和管理以提高計算資源的利用率及集羣的計算效率是諸如Brog/YARN等資源管理器應運而生的原因。
  • Borg/YARN/Mesos/Torca/Cornoa這一類系統本質上就是一臺大型計算機,mapreduce/sparl/storm等計算引擎本質上就是運行在諸如Borg之上的應用。
  • 任何一個公司內部的所有硬件資源都可以看做是一個數據中心,通過Borg/YARN/Mesos/Torca/Cornoa這一類資源管理器進行統一管理後,所有的程序和服務將通過一個統一入口進入數據中心,並由這類系統進行監控、提供容錯、彙報程序執行進度等。而至於應用程序或者服務運行在具體哪臺機器上,所在的機器IP、端口是什麼則不需要用戶管理,統一交給管理系統進行管理。
  • 有了資源管理器,不需要爲你爲運行的計算框架的版本、類型而費心。
  • YARN的時代來了。

博文2:

Mesos:一個開源的分佈式彈性資源管理系統http://dongxicheng.org/apache-mesos/mesos-and-yarn/ 五月 2, 2015

  • 目前看來,Hadoop YARN要比Mesos更主流,前景更廣闊。
  • YARN在實現資源管理的系統前提下,能夠和hadoop生態系統完美結合,在YARN的東家hortonworks看來,YARN定位爲大數據中的數據操作系統,能夠更好地爲上層各類應用程序(MapReduce/Spark)提供資源管理和調度功能。另外,非常重要的一點,YARN的社區力量比Mesos強大的多,它的參與人員衆多,周邊系統的建設非常完善(包括Twill、clodera/Kitten)
  • YARN是從MapReduce中演化而來的,因而在大數據處理中扮演重要角色,但這也使得它受限:它現在還不能看做是一個通用的資源管理系統,太多的內部實現過於狹隘,比如資源申請和分配模型,對長服務的支持等。不過,YARN自己仍把它定位在通用資源管理系統上,因而在不斷改進,比如最近的版本中,增加了對長服務和docker的支持。
  • 目前Mesos和YARN的優勢還是稍有不同的,YARN更多地是用在大數據平臺,對上層計算框架支持的非常好;而Mesos更多地是定位在資源的抽象和管理上,以便支持各種應用,不僅僅是計算框架。不過隨着兩者的不斷完善,他們之間的界限越來越模糊。

 

 

Mesos和YARN的區別以及它們如何協同工作:http://dockone.io/article/927

資源管理框架(mesos/YARN/coraca/Torca/Omega)選型分析https://blog.csdn.net/iloveyin/article/details/30060017

博文3:

《Mesos大數據資源調度與大規模容器運行最佳實踐》

大數據的規模和多樣性導致,對於現代工作負載而言,傳統的擴容策略已經落伍。因此,大型企業轉向分佈式處理,把大量計算機當成單個巨型機器來使用。很多資源需求各異的應用程序共享集羣,多種框架高效共享資源的關鍵是力爭達到資源的高利用率,需要將所有的小型機器合成單個大型計算機。Mesos天生就是這些計算機集羣的核心。

傳統的做法是,各種計算框架分別單獨運行,在框架間靜態劃分資源,這樣會導致資源的使用效率很低。將大量日常機器當做大型機器使用,能夠在所有框架之間彈性地共享資源,這些需求都要求集羣計算框架。Mesos的靈感來源於集羣內多個計算框架之間共享資源和提供資源隔離的想法。

集羣計算框架

資源管理程序面臨巨大的挑戰和互爲矛盾的目標:

  • 高效性。
  • 隔離性。
  • 可伸縮性。
  • 健壯性。
  • 可擴展性。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章