Elk+filebeat收集docker集群swarm中的nginx和tomcat容器的日志信息
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Elk+filebeat收集docker集群swarm中的nginx和tomcat容器的日志信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2455字，纯文字阅读大概需要4分钟。
内容图文
前言：
之前有说过elk收集nginx日志，
现在来说一下收集容器集群的日志收集 Elk的安装这里不在说了，上来直接怼，
这里是elk的服务器：的服务状态：以及端口
Logstash是主要的配置内容这里：
如下
input {
beats {
port => 5044
}
}
filter {
if "nginx-accesslog" in [tags] {
grok {
match => { "message" => "%{HTTPDATE:timestamp}\|%{IP:remote_addr}\|%{IPORHOST:http_host}\|(?:%{DATA:http_x_forwarded_for}|-)\|%{DATA:request_method}\|%{DATA:request_uri}\|%{DATA:server_protocol}\|%{NUMBER:status}\|(?:%{NUMBER:body_bytes_sent}|-)\|(?:%{DATA:http_referer}|-)\|%{DATA:http_user_agent}\|(?:%{DATA:request_time}|-)\|"}
}
mutate {
convert => ["status","integer"]
convert => ["body_bytes_sent","integer"]
convert => ["request_time","float"]
}
geoip {
source=>"remote_addr"
}
date {
match => [ "timestamp","dd/MMM/YYYY:HH:mm:ss Z"]
}
useragent {
source=>"http_user_agent"
}
}
if "tomcat-catalina" in [tags] {
grok {
match => { "message" => "%{HTTPDATE:timestamp}\|%{IP:remote_addr}\|%{IPORHOST:http_host}\|(?:%{DATA:http_x_forwarded_for}|-)\|%{DATA:request_method}\|%{DATA:request_uri}\|%{DATA:server_protocol}\|%{NUMBER:status}\|(?:%{NUMBER:body_bytes_sent}|-)\|(?:%{DATA:http_referer}|-)\|%{DATA:http_user_agent}\|(?:%{DATA:request_time}|-)\|"}
}
mutate {
convert => ["status","integer"]
convert => ["body_bytes_sent","integer"]
convert => ["request_time","float"]
}
date {
match => [ "timestamp", "yyyy-MM-dd HH:mm:ss,SSS Z", "MMM dd, yyyy HH:mm:ss a" ]
}
}
}
output {
elasticsearch {
hosts => ["192.168.9.35:9200"]
index => "logstash-%{type}-%{+YYYY.MM.dd}"
document_type => "%{type}"
}
# stdout { codec => rubydebug }
}
然后可以启动：
nohup logstash -f /etc/logstash/conf.d/logstrash-test.conf >/dev/null
接下来开始配置docker集群中的filbeate：
先说一下我们这里的docker启动的是集群模式，我将容器的日志目录映射到了本地宿主机上的目录了，
可以在本地上看一下：
容器的状态：
Filebeat是轻量级的工具省很多的资源开销：
这里安装的时候直接使用
rpm -ivh filebeat-5.5.1-x86_64.rpm
filebeat.prospectors:
- input_type: log
paths:
- /var/log/docker-nginx/access_json.log
tags: ["nginx-accesslog"]
document_type: nginxaccess
- input_type: log
paths:
- /var/log/docker-tomcat/catalina.out
tags: ["tomcat-catalinaout"]
document_type: tomcatcatalina
tags: ["nginx-test-194"]
output.logstash:
hosts: ["192.168.9.35:5044"]
完成之后启动filebeat即可：
Systemctl restart filebeat
然后通过curl 或者http：
进行对容器的访问可以查看到日志已经呗输入到了es存储中
可以看一下里面的数据：
比如查看一下nginx的日志：
接下来在kibana当中去创建一个一索引开头的日志格式
然后就可以看到了访问到的内容了
其他容器的也就这样的道理，可以收集，如果日志多了可以上redis和kafka
原文：http://blog.51cto.com/xiaorenwutest/2147860
内容总结
以上是互联网集市为您收集整理的Elk+filebeat收集docker集群swarm中的nginx和tomcat容器的日志信息全部内容，希望文章能够帮你解决Elk+filebeat收集docker集群swarm中的nginx和tomcat容器的日志信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。