简述yarn架构设计，yarn架构的几个组成部分有哪些

Hadoop生态圈中的调度组件-YARN

1、YARN：Hadoop集群中的同一资源调度系统。Hadoop0后引入，主要功能有：负责集群中资源的统一调度，响应客户端的请求。

2、Hadoop三大核心组件分别是HDFS、MapReduce和YARN。HDFS是Hadoop生态系统中的分布式文件系统，用于存储大规模数据集。HDFS将数据分布在多个节点上，支持数据冗余备份，确保数据的可靠性和高可用性。

3、yarn作为新生控件，主要管理hadoop各个模块运行过程中的任务调度，目前主要有公平调度与容量调度两种模型。如果需要其他组件，需要单独下载安装。

4、编写 Yarn 应用程序的客户端代码，该代码通常由一个提交 Yarn 应用程序的命令和一些相关的配置参数组成。 在客户端代码中，需要定义 Yarn 应用程序所需要的资源（如 CPU、内存、磁盘等）以及执行的任务数等。

5、官方文档： https：//hadoop.apache.org/docs/r3/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 。

相关问答

Q1: 简述yarn编程过程,再简述mr编程过程,说明二者有何关系?

编写 Yarn 应用程序的客户端代码，该代码通常由一个提交 Yarn 应用程序的命令和一些相关的配置参数组成。 在客户端代码中，需要定义 Yarn 应用程序所需要的资源（如 CPU、内存、磁盘等）以及执行的任务数等。

概述 YARN是一个资源管理系统，负责集群资源的管理和分配。

mapreduce是大数据处理并行框架，用户可以编写自己的程序调用mr框架并行的处理大数据，在调用过程中可以调整m和r的数目。不过总的来说编程相对复杂，因此诞生了hive。

MRv2是在MRv1基础上经加工之后，运行于资源管理框架YARN之上的MRv1，它不再由JobTracker和TaskTracker组成，而是变为一个作业控制进程ApplicationMaster，且ApplicationMaster仅负责一个作业的管理，至于资源的管理，则由YARN完成。

Q2: YARN到底是怎么一回事

1、YARN是在MRv1的基础上演化而来，它克服了MRv1的各种局限性：1：扩展性差 MRv1中，Jobracker同事兼备了资源管理和作业控制两个功能。2：可靠性差 MRv1才用了master/slave结构，master存在单点故障的问题。

2、因为生产环境的数据量一般都要比测试大的多，所以会经常出现这种内存的问题。

3、于是他打电话约Matty一块儿吃饭。Matty又提到了佣人Madmai。Rarmin下定决心要去问鬼脸Madmai佣人Madmai到底在什么地方。他试图要去找佣人Madmai。

4、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

5、因为在windows环境下搭建reactnative开发环境时，需要通过npm安装yarnReactNative的命令行工具，所以没有yarn安装包存在的话reactnative依赖就无法安装。ReactNative是一个使用JavaScript和React来编写跨终端移动应用。

关于简述yarn架构设计和yarn架构的几个组成部分有哪些的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。