义乌网站建设与维护,推广平台怎么找客源,网络产品及其推广方法,网站 seo优化日常工作中会涉及到各种资源分配等问题#xff0c;跨部门#xff0c;跨业务等等#xff0c;这里介绍基于CDH版本的Yarn 公平调度#xff08;实际使用DRF调度#xff09; 不同时间配置不同资源参考#xff08;计划模式#xff09;#xff1a;https://datamining.blog.cs…日常工作中会涉及到各种资源分配等问题跨部门跨业务等等这里介绍基于CDH版本的Yarn 公平调度实际使用DRF调度 不同时间配置不同资源参考计划模式https://datamining.blog.csdn.net/article/details/94613928 DRF与FAIR区别
DRF根据 CPU 和内存公平调度资源。 (建议CDH自带)
FAIR仅根据内存公平调度资源。 禁止自动创建队列
yarn.scheduler.fair.user-as-default-queue falseyarn.scheduler.fair.allow-undeclared-pools false
该项勾选之后会使用username队列如果没有会自动创建并且占比(权)为1 CDH配置放置规则
1.登录管理界面进入动态资源池配置 2.删除全部默认配置规则 3.添加新的三条规则注意按照顺序
规则一规则二规则三4.创建完成的规则如下图所示并刷新最新配置 配置资源池 1.资源池创建默认是在root父池下即上图的池名称为 root.test 程序制定时可使用如下命令
set mapreduce.job.queuenameroot.test;
2.最大运行数量e.g. 配置为2
启动三个程序其中两个正常跑平分资源另外一个app处于ACCEPTED状态等待其他任务跑完后才会跑 此时再启动一个在其他队列的任务发现可以正常运行说明我们配置已生效 3.设置最大使用资源
设置资源为该池使用最大资源如权设置的大最大资源设置小则权失效。
