大众服务器网站,wordpress怎么上传php,垡头网站建设,如何免费制作小视频2019独角兽企业重金招聘Python工程师标准 当前web服务器的多样化使得访问日志的数据清洗变得越来越复杂#xff0c;企业需要投入专业的数据清洗人员编写数据清洗规则#xff08;解析规则或者解析正则#xff09;#xff0c;或者需要关心web服务器访问日志的生… 2019独角兽企业重金招聘Python工程师标准 当前web服务器的多样化使得访问日志的数据清洗变得越来越复杂企业需要投入专业的数据清洗人员编写数据清洗规则解析规则或者解析正则或者需要关心web服务器访问日志的生成规则。手写web服务数据解析规则存在以下3个问题1需要投入专业技术人才完成编写成本高2人工书写解析规则容易犯错3解析规则生成不可复用新的web服务需要重新编写。如果能自动生成web服务器的日志将大大提高web服务器日志接入和数据可视化过程。基于此袋鼠云技术小组自研了日志解析规则自动生成组件适用于nginx、apcahe、iis服务器同时兼容类似这三种服务器日志规范的其他web服务器。以下内容将详细说明web日志解析规则自动生成的过程关键步骤有图片演示。 web服务器的日志往往有着一定的规范比如nginx的日志规范如图所示参见这里 如上设置日志内容将严格按照设定的字段顺序打印缺失的字段会适用占位符如符号‘-‘各字段被分隔符依次分开。 以下内容的基本原理是 1日志取样获取行日志分割符把日志按照分隔符拆分 2依次解析分割后的字段生成字段类型序列 3按照字段类型和顺序依次给字段命名生成解析规则 以上过程的流程图如图所示 样例演示 使用如上的方法生成下图所示的nginx样例日志的解析规则 首先进行字段拆分按照字段顺序生成正则序列如下图所示样例日志中依次包含IP、时间、URL数字和用户浏览器标识useragent字段 然后按照正则序列对字段进行映射样例日志是nginx日志nginx日志的默认类型和字段映射关系如下 IP-remoteAddr, TIMESTAMP-timeLocal, URL-request, NUM1-status, NUM2-bodybytesSend, USERAGENT-useragent; 映射之后生成默认解析规则结果如下图所示生成结束。 然后对生成的解析规则进行多轮检验并重复以上过程最终生成匹配度最高的解析规则。 转载于:https://my.oschina.net/u/3611008/blog/2876082
