在浏览器上建设网站,wordpress站点一百数据卡不,厦门建设局林德志,asp在网站开发中起什么作用生产环境遇到一台机器网络流量占用高告警
由于监控只有机器总的网络流量#xff0c;没有具体进程的 于是只能登陆服务器#xff0c;安装nethogs#xff1a;yum install nethogs
然后执行nethogs命令查看进程流量 观察到主要是spark history server这个进程占用流量高(最高…生产环境遇到一台机器网络流量占用高告警
由于监控只有机器总的网络流量没有具体进程的 于是只能登陆服务器安装nethogsyum install nethogs
然后执行nethogs命令查看进程流量 观察到主要是spark history server这个进程占用流量高(最高达到800M/s) 但是我们spark任务其实不是很多且大多是离线占用这么高有点不太正常
查看spark history server日志 发现每间隔10-30秒就会读取spark2-history目录下的文件且每次读取的都是相同的几个文件
抽取几个文件查看 大小基本都在9G以上
spark版本使用的是2.3.1 结合日志打印和代码发现spark history server会定期(spark.history.fs.update.interval配置默认10s)执行checkForLogs逻辑检查目录下的文件是否有变动对有变动的文件进行解析及事件回放
代码入口在FsHistoryProvider.startPolling()方法中
这里由于是spark streaming任务且spark2不支持history文件滚动生成文件大小会一直往上增长每次全量读取文件会带来比较严重的性能开销。
这里建议最好升级到spark3并开启日志滚动输出见我之前的文章https://blog.csdn.net/li281037846/article/details/129302902 要是不方便升级那就最好定期对spark streaming任务进行重启避免日志文件一直增长
还有就是把spark.history.fs.update.interval配置的值调大一点(牺牲history的实时性)降低读取日志文件的频率
