yarn资源分配机制?以下内容主要是针对遇上Apache Hadoop YARN是干什么的的问题,我们该怎么理解呢。ApacheHadoopYARN是ApacheHadoop的新型资源管理和调度系统,它提供了一个可扩展和可利用的框架,可以处理大型、分布式应用程序,下面这篇文章将为你提供一个参考思路,希望能帮你解决到相关问题。
yarn资源分配机制
yarn是Hadoop 2.0中的资源管理系统。
yarn的基本思想是将JobTracker 的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster。
其中RM负责整个系统的资源管理和分配,而AM负责单个应用程序的管理。这里的应用程序指的是传统的Mapreduce作业或作业的DAG。
yarn组件:
1.RsourceManager
RM是一个全局的资源管理器,管理整个集群的计算资源,并将这些资源分配给应用程序。
2.ApplicationMaster(AM)
应用程序级别的,管理运行在YARN上的应用程序。
3.NodeManager
yarn的每个节点上的代理,管理HADOOP集群中单个计算节点。
4.container
container是yarn中抽象的资源,它封装了某个节点上的多纬度资源,如内存、cpu、磁盘、网络等。
Apache Hadoop YARN是干什么的
1、ApacheHadoopYARN是ApacheHadoop的新型资源管理和调度系统,它提供了一个可扩展和可利用的框架,可以处理大型、分布式应用程序。
2、YARN是Hadoop2中第一个更新,旨在解决Hadoop的资源管理和调度问题,使之能够应对多种不同类型的任务。
3、YARN代表YetAnotherResourceNegotiator,它是一个大型资源管理系统,能够实现服务和资源调度,以应对大型的分布式计算环境。
4、Yarn定义了一套应用程序调度系统,可以在单个分布式计算集群中调度多种不同类型的程序。
5、YARN有助于实现Hadoop的数据处理速度和效率的进一步提升。
6、YARN组件有:资源管理器(ResourceManager)、应用程序管理器(ApplicationMaster)、NodeManager(节点管理器)以及Container(容器)。
7、资源管理器:资源管理器是Yarn架构的核心。
8、它负责实时调度集群资源,监控系统负载,执行系统参数调整,并协调所有节点的资源使用情况。
9、应用程序管理器:应用程序管理器是一个实时应用,根据资源管理器发出的处理任务,来管理和调度应用,以实现负载平衡和服务质量控制。
10、NodeManager:NodeManager是YARN中的实际工作节点,它负责与资源管理器和应用程序管理器进行通信,以完成接收和安排各种计算任务。
11、Container:容器可以理解为抽象的计算单元,所有的应用程序在运行时都要求有一个容器的支持,在容器中启动应用程序。
12、ApacheHadoopYARN的出现,使Hadoop由单一的MapReduce资源管理变成可以支持更多任务的多功能生态系统,为Hadoop带来了新的发展动力。
以上就是为你整理的Apache Hadoop YARN是干什么的全部内容,希望文章能够帮你解决相关问题,更多请关注本站科技问答百科栏目的其它相关文章!