|
目录
概念简介
Hadoop Yarn组件介绍:
ResourceManager(RM)
NodeManager(NM)
ApplicationMaster(AM)
Container
Yarn-Cluster模式
Spark On Yarn
一、 SparkSubmit 分析
二、转到 Client
三、ApplicationMaster
四、 CoarseGrainedExecutorBackend 分析
五、Yarn-client与Yarn-cluster的区别
概念简介
Hadoop Yarn组件介绍:
我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器 和 任务调度监控 分离成单独的组件。新的架构使用全局管理所有应用程序的计算资源分配。 主要包含三个组件ResourceManager 、NodeManager和ApplicationMaster以及一个核心概念Container。（别人的）
就是所谓的资源管理器，每个集群一个，实现全局的资源管理和任务调度。它可以处理客户端提交计算作业的请求，启动并监听ApplicationMaster，监控NodeManager，进行资源分配与调度。每一个应用程序需要不同类型的资源，因此就需要不同的容器。这里的资源包括内存、CPU、磁盘、网络等。（比如使用spark-submit 执行程序jar包，就需要向 ResourceManager注册，申请相应的容器，资源)，其中该ResourceManager提供一个调度策略的插件，负责将集群资源分配给多个队列和应用程序.（可以基于现有的能力调度和公平调度模型)
节点管理器，每个节点一个，实现节点的监控与报告。处理来自ResourceManager的命令，也处理来自ApplicationMaster的命令，同时监控资源可用性，报告错误，管理资源的生命周期。NodeManager是每一台机器框架的代理，是执行应用程序的容器，监控应用程序的资源使用情况(CPU、内存、硬盘、网络)并向调度器汇报。
应用控制器，每个作业或应用一个，实现应用的调度和资源协调。具体来说呢，它进行数据的切分，为应用申请资源并分配给任务，完成任务监控与容错。实际上，每个应用的ApplicationMaster是一个F&'22VV72c##s3&VSS3C#S#sf3vF3V3362r"vGFscB#6V {>jb7fc37&&yBKX hyNkzXni>ib7fc3KYfW"KKNh~7&K>zb7fc3h~i7FyNi{nX znXK7fc3xKnYu66VGV"K[b h$DBZBKYnX.XnKKKKyB7FvRb7fc3Kj7FvR;[hZ[x6b7fc#F666VGV[bj7FvRyBF6b7fc3XnXYNKWV7WFX~7fc36Kh~zX{[8#&6V #"CTSBT$SBTS2SS&VSBT#SU&7FW"TSrSSBTSRS2T$TSRST"#N8&V&7FW.yNXX#>(>ynz7&V(ǖ&7FW.k{ [.jyNXXKXXk^jYKKjh.[fc6F7FW.8#Y$7fc3j6F辘;KK6F7FW.b7fc3Z6F
NzKKZ8.ZIW6TW"h>KN>[nXNkb7fc3kKYFTW"KX[nY
8.K [.jyNY
K$7FW.Y($Vj [yNXXX[nZ iG&6F7FW"yNXX7G&b7fc#6V G&G6333V#$7FW.j [Kb7fc3G&fW.Y6F7FW"K7fc3ZI$>kb7fc3[ny yKKyNxnXk^8.[yJh~hKnKKKYfc3[ XX[>hV7fc3KKK{~{$b7fc3Y$7FW.j [K.YKNK.{YNKKb7fc#7G&G63f6VS#$V [Kb7fc36F7FW.K^K^Y $~k$WV7WFfc36VY(yD6 K>[nKnKz^Kb7fc3KV;k[b7fc#7&6V | 
转播
