YARN概述

  YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统,提供了请求和使用集群资源的API,一些分布式计算框架如MapReduce、Spark等作为YARN应用运行在集群计算层(YARN)和集群存储层(HDFS、HBase)上。

  YARN主要包含以下几个重要组件:

  1、Resource Manager:RM是一个全局的资源管理器,集群只有一个,负责整个系统的资源管理和分配,包括处理客户端请求、启动/监控APP master、监控Node Manager、资源的分配与调度。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。

  调度器根据各个应用程序的资源需求进行资源分配,而资源分配单位用一个抽象概念“资源容器”(Resource Container,简称Container)表示,Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,从而限定每个任务使用的资源量。

  应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动Application Master、监控Application Master运行状态并在失败时重新启动它等。

  2、Node Manager:用来启动和监控本地计算机资源Container,处理来自于Resource Manager和Application Master的命令。

  3、Application Master:当Resource Manager接到YARN应用计算任务后,会在一个Container内启动Application Master,用于管理该计算任务,每个YARN应用任务都会对应新建一个Application Master,任务间互不影响。

  大连市××× http://www.dlbhnk.com/

  大连正规×××医院 http://www.120bhnk.com/

  大连正规×××医院 http://www.39552222.net/


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章