phpcms做装修网站,vs做的网站如何,网站源码平台,手机版网站系统elk#xff1a;filebeat日志收集工具和logstash相同。
filebeat是一个轻量级的日志收集工具#xff0c;所使用的系统资源比logstash部署和启动时使用的资源要小的多。
filebeat可以运行在非Java环境。他可以代理logtash在非java环境上收集日志。
filebeat无法实现数据的过…elkfilebeat日志收集工具和logstash相同。
filebeat是一个轻量级的日志收集工具所使用的系统资源比logstash部署和启动时使用的资源要小的多。
filebeat可以运行在非Java环境。他可以代理logtash在非java环境上收集日志。
filebeat无法实现数据的过滤一般是结合logstash的数据过滤功能一块使用。
filebeat收集的数据可以发往多个主机远程发送。 在四台主机上安装filebeat
安装时间同步工具
yum install ntpdate -y
ntpdate ntp.aliyun.com
date 直接收集nginx(192.168.176.60 本机)日志
给文件赋权
cd /var/log/nginx/
chmod 777 access.log error.log 备份
cd /opt/filebeat/
cp filebeat.yml filebeat.yml.bak 修改配置文件
vim filebeat.yml 改为logstash output 指定日志路径 创建logstash文件指定es。
input {
beats { port 5044 }
}
output {
if nginx in [tags] {
elasticsearch {
hosts [192.168.176.10:9200,192.168.176.50:9200]
index %{[fields][service_name]}-%{YYYY.MM.dd}
}
}
stdout {
codec rubydebug
}
} 设置文件保存路径
logstash -f file_nginx.conf --path.data /opt/test2 开启收集命令
nohup ./filebeat -e -C filebeat.yml filebeat.out
nohup表示在后台记录执行命令的过程
./filebeat 运行文件
-e 使用标准输出的提示进行syslog文件生成
-c 指定配置文件
执行过程生成到filebeat这个文件当中后台运行 创建索引模式 logstash收集日志的过程
input(从哪里收集) filter(过滤 output(发送es实例) 上面为本地收集 远程收集远程多个日志。
开启MySQL日志
general_logON
general_log_file/usr/local/mysql/data/mysql_general.log
安装httpdnginx服务
安装filebeat 服务 #配置logsatsh 记得改端口不要和上方重复 #启动 filebeat
nohup ./filebeat -e -c filebeat.yml filebeat.out #多个实例同时收集创建文件
vim nhm_30.conf input {
beats { port 5045 }
}
output {
if nginx_30 in [tags] {
elasticsearch {
hosts [192.168.176.10:9200,192.168.176.50:9200]
index %{[fields][service_name]}-%{YYYY.MM.dd}
}
}
if httpd_30 in [tags] {
elasticsearch {
hosts [192.168.176.10:9200,192.168.176.50:9200]
index %{[fields][service_name]}-%{YYYY.MM.dd}
}
}
if mysql_30 in [tags] {
elasticsearch {
hosts [192.168.176.10:9200,192.168.176.50:9200]
index %{[fields][service_name]}-%{YYYY.MM.dd}
}
}
stdout {
codec rubydebug
}
} 设置文件保存路径
logstash -f nhm_30.conf --path.data /opt/test4 logstash可以使用任何端口只有吗被占用都可以使用推荐1024之后使用。
5044
5045
5046 对logstash性能上的优化logstash启动是在jvm虚拟机当中启动移除至少500M内存。 pipeline.workers: 2
logstash的工作线程默认值就是cpu数4 2 8 4给一般即可 2核2个。 pipelinebatch.size:125
一次性能够批量处理检索事务的大小 125条数。200 pipeline.batch.delay: 50
查询更新的延迟。50毫秒也可以自行调整。15 10 也要看机器性能。
