Apache Hadoop YARN是干什么的

百科问答 投稿 7400 0 评论

Apache Hadoop YARN是干什么的

yarn资源分配机制?以下内容主要是针对遇上Apache Hadoop YARN是干什么的的问题,我们该怎么理解呢。ApacheHadoopYARN是ApacheHadoop的新型资源管理和调度系统,它提供了一个可扩展和可利用的框架,可以处理大型、分布式应用程序,下面这篇文章将为你提供一个参考思路,希望能帮你解决到相关问题。

yarn资源分配机制

yarn是Hadoop 2.0中的资源管理系统。

yarn的基本思想是将JobTracker 的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster。

其中RM负责整个系统的资源管理和分配,而AM负责单个应用程序的管理。这里的应用程序指的是传统的Mapreduce作业或作业的DAG。

yarn组件:

1.RsourceManager

RM是一个全局的资源管理器,管理整个集群的计算资源,并将这些资源分配给应用程序。

2.ApplicationMaster(AM)

应用程序级别的,管理运行在YARN上的应用程序。

3.NodeManager

yarn的每个节点上的代理,管理HADOOP集群中单个计算节点。

4.container

container是yarn中抽象的资源,它封装了某个节点上的多纬度资源,如内存、cpu、磁盘、网络等。

Apache Hadoop YARN是干什么的

1、ApacheHadoopYARN是ApacheHadoop的新型资源管理和调度系统,它提供了一个可扩展和可利用的框架,可以处理大型、分布式应用程序。

2、YARN是Hadoop2中第一个更新,旨在解决Hadoop的资源管理和调度问题,使之能够应对多种不同类型的任务。

3、YARN代表YetAnotherResourceNegotiator,它是一个大型资源管理系统,能够实现服务和资源调度,以应对大型的分布式计算环境。

4、Yarn定义了一套应用程序调度系统,可以在单个分布式计算集群中调度多种不同类型的程序。

5、YARN有助于实现Hadoop的数据处理速度和效率的进一步提升。

6、YARN组件有:资源管理器(ResourceManager)、应用程序管理器(ApplicationMaster)、NodeManager(节点管理器)以及Container(容器)。

7、资源管理器:资源管理器是Yarn架构的核心。

8、它负责实时调度集群资源,监控系统负载,执行系统参数调整,并协调所有节点的资源使用情况。

9、应用程序管理器:应用程序管理器是一个实时应用,根据资源管理器发出的处理任务,来管理和调度应用,以实现负载平衡和服务质量控制。

10、NodeManager:NodeManager是YARN中的实际工作节点,它负责与资源管理器和应用程序管理器进行通信,以完成接收和安排各种计算任务。

11、Container:容器可以理解为抽象的计算单元,所有的应用程序在运行时都要求有一个容器的支持,在容器中启动应用程序。

12、ApacheHadoopYARN的出现,使Hadoop由单一的MapReduce资源管理变成可以支持更多任务的多功能生态系统,为Hadoop带来了新的发展动力。

以上就是为你整理的Apache Hadoop YARN是干什么的全部内容,希望文章能够帮你解决相关问题,更多请关注本站科技问答百科栏目的其它相关文章!

编程笔记 » Apache Hadoop YARN是干什么的

赞同 (36) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽