查公司查企业用什么网站,ui培训班 千锋,端午节ppt模板免费下载,建e室内设计网直播有关2023.10.2日发现的yarn部分nodeManager组件节点不可用的原因分析
yarn组件异常情况始于2023.09.30日06时00分#xff0c;恢复于2023.10.02日10点35分。每日凌晨6点#xff0c;大数据定时任务#xff1a;task1启动#xff0c;该任务持续时长1小时20~25分钟左右#xf…有关2023.10.2日发现的yarn部分nodeManager组件节点不可用的原因分析
yarn组件异常情况始于2023.09.30日06时00分恢复于2023.10.02日10点35分。每日凌晨6点大数据定时任务task1启动该任务持续时长1小时20~25分钟左右是mapreduce引擎类型任务会使用大量cpu资源。赶上国庆节假日出行遇到数据处理波峰从大行程统计看大行程从10.29日开始行程数据处理量处于波峰阶段。各实时任务和离线任务数据处理赶上资源内存和CPU使用高峰期。如nodemanager组件在work01节点down掉的时候内存利用率为83.15%。从down掉的节点上日志打印
“早上6点14:56.982分 INFO ContainersMonitorImpl Skipping monitoring container container_e36_1691568999943_5019_01_000003 since CPU usage is not yet available.
早上6点14:57.003分 INFO ContainersMonitorImpl Skipping monitoring container container_e36_1691568999943_5019_01_000002 since CPU usage is not yet available.”来看也体现出无CPU资源可用的现象这是2023.09.30日06:14分打印出来的日志信息契合nodemanager组件节点down掉的时间信息。
综上所述目前得出结论10月2日的组件down掉现象与资源紧张成强相关关系。当前解决办法 1 调优集群参数拓展出8G的集群内存资源增加yarn任务调度的均衡性更加合理运行各工作节点的内存资源。 2调优相关定时任务内存启动参数 。 3国庆假期已结束继续持续观察一周集群任务运行状态。
