首页 / 日志 / ELK实践（二）：收集Nginx日志

ELK实践（二）：收集Nginx日志

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了ELK实践（二）：收集Nginx日志，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8619字，纯文字阅读大概需要13分钟。

内容图文

Nginx访问日志

这里补充下Nginx访问日志使用的说明。一般在nginx.conf主配置文件里需要定义一种格式：

        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    '$status $body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for" $request_time';

上面的格式我是基于默认的加了一个$request_time。

然后子配置使用：

        access_log  logs/myapp.log  main;

即可。

Filebeat采集日志数据到ElasticSearch

配置：

        su -e elk
cd /usr/local/elk
vim beats/filebeat/filebeat.test_nginx.yml

配置详情：

        filebeat.prospectors:
- type: log
  input_type: log
  paths:
    - /work/yphp/nginx/logs/*.log
  tags: ["ngx", "yujc"]
  fields:
    logIndex: nginx
    docType: nginx-access
  fields_under_root: true
  tail_files: false

output.elasticsearch:
  hosts: ["127.0.0.1:9200"]
  index: "test-nginx-%{+yyyy.MM.dd}"

配置说明：

filebeat.prospectors:

type 日志类型，默认log
input_type 输入类型，默认log
paths 采集的日志，可以使用通配符。支持多个
tags 自定义标签，是个数组。自定义
fields 自定义字段
fields_under_root 自定义字段是否追加到根。如果为false，fields配置的字段键名是fields
tail_files 是否从末尾开始采集
document_type 自定义字段，用于Logsatsh区分来源，在Logsatsh里用变量type表示

output.elasticsearch:

hosts 配置ES节点，数组格式，支持多个。
index 配置ES索引。不配置使用默认的 filebeat-*
protocol 配置协议，例如http,https
username 配置ES用户名，例如elastic
password 配置ES密码，例如changeme

设置权限600，并启动filebeat:

        chmod -R 600 beats/filebeat/filebeat.test_nginx.yml

./beats/filebeat/filebeat -c beats/filebeat/filebeat.test_nginx.yml

然后访问Nginx应用，查看ES是否新增了一个索引：

        
$ curl http://127.0.0.1:9200/_cat/indices?v | grep test-nginx
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
105  1161  105  1161    0     0   123k      0 --:--:-- --:--:-- --:--:--  125k
yellow open   test-nginx-2018.09.24             ArxrVVOkTjG8ZlXJjb9bVg   5   1          1            0     11.6kb         11.6kb

我们查看一条数据：

        $ curl http://127.0.0.1:9200/test-nginx-2018.09.24/_search?q=*&size=1


{
  "_index": "test-nginx-2018.09.24",
  "_type": "doc",
  "_id": "AWYKkBqtJzfnbYlB_DRX",
  "_version": 1,
  "_score": null,
  "_source": {
    "@timestamp": "2018-09-24T07:51:43.140Z",
    "beat": {
      "hostname": "2106567e5bce",
      "name": "2106567e5bce",
      "version": "5.6.2"
    },
    "docType": "nginx-access",
    "input_type": "log",
    "logIndex": "nginx",
    "message": "172.16.10.1 - - [24/Sep/2018:07:51:40 +0000] \"GET /?time=22 HTTP/1.1\" 200 97991 \"-\" \"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36\" \"-\" 0.009",
    "offset": 5243,
    "source": "/work/yphp/nginx/logs/hello71.log",
    "tags": [
      "ngx",
      "yujc"
    ],
    "type": "log"
  },
  "fields": {
    "@timestamp": [
      1537775503140
    ]
  },
  "sort": [
    1537775503140
  ]
}

可以看到已经有数据了。但是日志内容作为一个整体（字段是message）了。

Filebeat采集日志数据，Logstash过滤发到ElasticSearch

配置：

        su -e elk
cd /usr/local/elk
vim beats/filebeat/filebeat.test_nginx2.yml

配置详情：

        filebeat.prospectors:
- type: log
  input_type: log
  paths:
    - /work/yphp/nginx/logs/*.log
  tags: ["ngx", "yujc"]
  fields:
    logIndex: nginx
    docType: nginx-access
  fields_under_root: true
  tail_files: false

output.logstash:
  hosts: ["127.0.0.1:5044"]

配置logstash

        su -e elk
cd /usr/local/elk
vim logstash/config/conf.d/filebeat.conf

配置详情：

        input {
    beats {
        port => 5044
    }
}

filter {
    grok {
        match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:time}\] \"%{WORD:method} %{DATA:url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent:bytes} \"%{DATA:referrer}\" \"%{DATA:agent}\" \"%{DATA:x_forwarded_for}\" %{NUMBER:request_time}" }
        remove_field => "message"
    }
}

output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "test-nginx2-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
    }
    stdout { codec => rubydebug }
}

我使用的nginx日志格式是在标准格式后面加了2个字段$http_x_forwarded_for和$request_time：

        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ' 
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" $request_time';

日志示例：

        172.16.10.1 - - [24/Sep/2018:09:04:40 +0000] "GET /?time=2244 HTTP/1.1" 200 98086 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36" "-" 0.002

上面的grok表达式是：

        %{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:time}\] \"%{WORD:method} %{DATA:url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent:bytes} \"%{DATA:referrer}\" \"%{DATA:agent}\" \"%{DATA:x_forwarded_for}\" %{NUMBER:request_time}

我们先使用Grok Debugger 工具在线调试下，看看写的grok是否正确。我之前没有测试之前启动，发现ES里没有grok里解析出来的字段，后来在命令行看到filebeat的输出（前台运行）：

        $ ./beats/filebeat/filebeat -c beats/filebeat/filebeat.test_nginx2.yml

{
    "@timestamp" => 2018-09-24T09:01:19.555Z,
      "logIndex" => "nginx",
        "offset" => 6467,
       "docType" => "nginx-access",
      "@version" => "1",
    "input_type" => "log",
          "beat" => {
            "name" => "2106567e5bce",
        "hostname" => "2106567e5bce",
         "version" => "5.6.2"
    },
          "host" => "2106567e5bce",
        "source" => "/work/yphp/nginx/logs/hello71.log",
       "message" => "172.16.10.1 - - [24/Sep/2018:09:01:14 +0000] \"GET /?time=2244 HTTP/1.1\" 200 98087 \"-\" \"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36\" \"-\" 0.195",
          "type" => "log",
          "tags" => [
        [0] "ngx",
        [1] "yujc",
        [2] "beats_input_codec_plain_applied",
        [3] "_grokparsefailure"
    ]
}

最后面提示了_grokparsefailure，说明grok部分写的有问题。由于是参考的网上教程，也加上刚接触，不知道怎么配置，filebeat.conf调试了很久才生效。

我们打开Grok Debugger，第一个输入框输入filebeat采集的消息原文message字段里的内容，第二个输入框输入grok表达式：
技术分享图片

点击Go按钮即可解析。如果下面的内容是{}说明解析失败，然后可以修改表达式，该工具会自动解析。最终解析结果：

        {
  "remote_ip": [
    [
      "172.16.10.1"
    ]
  ],
  "HOSTNAME": [
    [
      "172.16.10.1"
    ]
  ],
  "IP": [
    [
      null
    ]
  ],
  "IPV6": [
    [
      null
    ]
  ],
  "IPV4": [
    [
      null
    ]
  ],
  "user_name": [
    [
      "-"
    ]
  ],
  "time": [
    [
      "24/Sep/2018:08:47:59 +0000"
    ]
  ],
  "MONTHDAY": [
    [
      "24"
    ]
  ],
  "MONTH": [
    [
      "Sep"
    ]
  ],
  "YEAR": [
    [
      "2018"
    ]
  ],
  "TIME": [
    [
      "08:47:59"
    ]
  ],
  "HOUR": [
    [
      "08"
    ]
  ],
  "MINUTE": [
    [
      "47"
    ]
  ],
  "SECOND": [
    [
      "59"
    ]
  ],
  "INT": [
    [
      "+0000"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/?time=2244"
    ]
  ],
  "http_version": [
    [
      "1.1"
    ]
  ],
  "BASE10NUM": [
    [
      "1.1",
      "200",
      "98086",
      "0.002"
    ]
  ],
  "response_code": [
    [
      "200"
    ]
  ],
  "body_sent": [
    [
      "98086"
    ]
  ],
  "referrer": [
    [
      "-"
    ]
  ],
  "agent": [
    [
      "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    ]
  ],
  "x_forwarded_for": [
    [
      "-"
    ]
  ],
  "request_time": [
    [
      "0.002"
    ]
  ]
}

然后可以启动logstash了。

测试logstash配置是否通过：

        ./logstash/bin/logstash -f logstash/config/conf.d/filebeat.conf --config.test_and_exit

Config Validation Result: OK. Exiting Logstash

        # 启动logstash
./logstash/bin/logstash &

# 启动filebeat
./beats/filebeat/filebeat -c beats/filebeat/filebeat.test_nginx2.yml

我们再次访问Nginx应用，然后我们查看一条数据：

        $ curl http://127.0.0.1:9200/test-nginx2-log-2018.09.24/_search?q=*&size=1&sort=@timestamp:desc

{
  "took": 14,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": null,
    "hits": [
      {
        "_index": "test-nginx2-log-2018.09.24",
        "_type": "log",
        "_id": "AWYK0to8JzfnbYlB_DRx",
        "_score": null,
        "_source": {
          "response_code": "200",
          "agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
          "logIndex": "nginx",
          "offset": 6875,
          "method": "GET",
          "docType": "nginx-access",
          "user_name": "-",
          "input_type": "log",
          "http_version": "1.1",
          "source": "/work/yphp/nginx/logs/hello71.log",
          "message": """172.16.10.1 - - [24/Sep/2018:09:04:40 +0000] "GET /?time=2244 HTTP/1.1" 200 98086 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36" "-" 0.002""",
          "type": "log",
          "url": "/?time=2244",
          "tags": [
            "ngx",
            "yujc",
            "beats_input_codec_plain_applied"
          ],
          "x_forwarded_for": "-",
          "referrer": "-",
          "@timestamp": "2018-09-24T09:04:40.404Z",
          "remote_ip": "172.16.10.1",
          "request_time": "0.002",
          "@version": "1",
          "beat": {
            "name": "2106567e5bce",
            "hostname": "2106567e5bce",
            "version": "5.6.2"
          },
          "host": "2106567e5bce",
          "body_sent": "98086",
          "time": "24/Sep/2018:09:04:40 +0000"
        },
        "sort": [
          1537779880404
        ]
      }
    ]
  }
}

里面就包含了所有我们解析出来的字段。

kibana里查看

打开kibana web地址：http://127.0.0.1:5601，依次打开：Management
-> Kibana -> Index Patterns ,选择Create Index Pattern：

a. Index pattern 输入：test-nginx2-* ；

b. Time Filter field name 选择 @timestamp。

c. 点击Create。

然后打开Discover，选择 filebeat-* 就能看到日志数据了。
技术分享图片

可以看到详细字段：
技术分享图片

参考

1、Logstash使用grok过滤nginx日志（二） - Orgliny - 博客园
https://www.cnblogs.com/Orgliny/p/5592186.html
2、Rsyslog日志服务搭建 - K‘e0llm - 博客园
http://www.cnblogs.com/Eivll0m/p/6700828.html
3、Logstash中如何处理到ElasticSearch的数据映射 - Cocowool - 博客园
https://www.cnblogs.com/cocowool/p/7347069.html
4、ELK 架构之 Logstash 和 Filebeat 安装配置 - 田园里的蟋蟀 - 博客园
http://www.cnblogs.com/xishuai/p/elk-logstash-filebeat.html
5、搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器-zero菌-51CTO博客
http://blog.51cto.com/zero01/2082794

原文：https://www.cnblogs.com/52fhy/p/10160795.html

内容总结

以上是互联网集市为您收集整理的ELK实践（二）：收集Nginx日志全部内容，希望文章能够帮你解决ELK实践（二）：收集Nginx日志所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1203768.html

来源：【匿名】

【上一篇】0721 开发日志【下一篇】php错误日志怎么看

更多 ►

【ELK实践（二）：收集Nginx日志】教程文章相关的互联网学习教程文章

ELK实践（二）：收集Nginx日志【代码】【图】

Nginx访问日志这里补充下Nginx访问日志使用的说明。一般在nginx.conf主配置文件里需要定义一种格式：log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for" $request_time';上面的格式我是基于默认的加了一个$request_time。然后子配置使用：access_log logs/myapp.log main;即可。Filebeat采集日志数据到Elastic...

nginx 日志分割（简单、全面）

Nginx 日志分割因业务需要做了简单的Nginx 日志分割，第1章详细配置如下。#建议在mkdir /home/shell -p 专门写shell 脚本位置root@localhost:/home/shell# cat nginxcut.sh#!/bin/sh######by xuebao#2017.05.16date=`date +%Y%m%d`nginxlog="/app/logs/nginx/"/bin/mv ${nginxlog}www_access.log ${nginxlog}access_${date}back.log/application/nginx/sbin/nginx -s reload1.1 脚本详解# data 时间 nginxlog nginx安装路径（可...

nginx日志切割【代码】

nginx日志切割 #!/bin/sh #nginx日志切割#设置 Log_path=/www/server/nginx/logs Yesterday=$(date -d "yesterday" +%Y-%m-%d_%S) Nginxbin=/www/server/nginx/sbin/nginx#日志改名 /bin/mv $Log_path/access.log $Log_path/access.$Yesterday.log /bin/mv $Log_path/error.log $Log_path/error.$Yesterday.log#重新生成日志 $Nginxbin -s reopen# #定时任务 # #nginx日志切割 # 0000 * * * /root/sh/cut_log.sh # # 原文：http:...

ELK-Logstash Nginx 日志分析

logstash配置文件# nginx_log.confinput { file { type => "nginx_log" path => "/opt/nginx/logs/access.log" }} filter { if [type] == "nginx_log" { grok { match => { "message" => "%{NGINXACCESS}" } } if ([message] =~ "^*launcher*|^*favicon*") { drop {} } geoip { source => "remote_addr" target => "geoip" database => "/op...

filebeat 获取nginx日志发送给ElasticSearch【代码】

目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。1、配置nginx配置文件 log_format jsonTest ‘{"@timestamp":"$time_iso8601",‘ ‘"host":"$server_addr",‘ ‘"service":"nginxTest",‘ ‘"trace":"$upstream_http_ctx_transaction_id",‘ ‘"log":"log",‘ ...

使用AWSTATS自动分析Nginx日志【代码】【图】

环境说明：Nginx安装目录：/usr/local/nginxNginx配置文件存放目录：/usr/local/nginx/conf/nginx.confNginx日志目录：/usr/local/nginx/logsAwstats安装目录：/usr/local/awstatsAwstats配置文件存放目录：/etc/awstats日志切割脚本存放目录：/usr/local/nginx/nginx_log.sh一、Nginx日志切割1、修改nginx.conf配置文件，使AWSTATS支持分析日志格式# vim /usr/local/nginx/conf/nginx.conf //去掉前面的#号 log_format main ...

统计一定时间段nginx日志发送的报文数【代码】

#!/bin/bashlist=`awk ‘/19:/,/21:/{print $10}‘ /data/opt/nginx/logs/access.log | tr -d "[[:punct:]]|[[:alpha:]]"` sum=0 for i in $list;do sum=$[$sum+$i] done echo $sum本文出自 “学無止境” 博客，请务必保留此出处http://dashui.blog.51cto.com/11254923/1901954原文：http://dashui.blog.51cto.com/11254923/1901954

python分析nginx日志的ip,url,status【代码】

Python 脚本如下：#!/usr/bin/env python #_*_coding:utf-8 _*_ __author__ = ‘lvnian‘#!/usr/bin env python # coding: utf-8 import MySQLdb as mysql import sys, osdb = mysql.connect(user="root",passwd="xxxxx@2015",db="intest",host="192.168.10.12") #数据库连接信息 db.autocommit(True) cur = db.cursor() cur.execute(‘set names utf8‘)dict_list = {} with open(‘access.log‘) as logfin: for line in log...

nginxi日志切割

当网站访问量大后，日志数据就会很多，如果全部写到一个日志文件中去，文件会变得越来越大。文件大速度就会慢下来，比如一个文件几百兆。写入日志的时候，会影响操作速度。另外，如果我想看看访问日志，一个几百兆的文件，下载下来打开也很慢。为了方便对日志进行分析计算，需要对日志进行定时切割。定时切割的方式有按照月切割、按天切割，按小时切割等。最常用的是按天切割。配置shell脚本#!/bin/bash# 必须每天00:00运行#日志保...

nginx 日志分割【代码】

利用 crontab + shell 来实现nginx的 access log 按天切割，便于统计。具体实现如下：shell：#! /bin/sh NGINX_DIR=/data/apps/nginx LOGS_PATH=$NGINX_DIR/logs ## 获取昨天的 yyyy-MM-dd YESTERDAY=$(date -d "yesterday" +%Y-%m-%d) ## 移动文件 mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${YESTERDAY}.log ## 向 Nginx 主进程发送 USR1 信号。USR1 信号是重新打开日志文件 kill -USR1 $(cat $NGINX_DIR/logs/nginx.pid)...

如何从apache/nginx日志分析ip的来源并写入到数据库【代码】

如题，分析首先最简单的取出ipcd /usr/local/nginx/logs awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list #在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() { for i in `cat list` do TransCoding="/usr/bin/python TransCoding.py" JsonDate="curl -s...

rsyslog收集nginx日志配置【代码】【图】

rsyslog日志收集配置rsyslog服务器收集各服务器的日志，并汇总，再由logstash处理请查看上一篇文章 http://bbotte.blog.51cto.com/6205307/1613571 客户端/发送端 web服务器# yum install rsyslog -y # vim /etc/rsyslog.conf *.* @192.168.10.1:514 # vim /etc/bashrc #收集其他服务器的操作命令 export PROMPT_COMMAND=‘{ msg=$(history 1 | { read x y; echo $y; });logger "[euid=$(whoami)]":...

定时切割nginx日志【代码】

#!/bin/bash #desc: cut nginx log #this script run at 00:00LOG_PATH=‘/usr/local/nginx/logs/‘; LOG_BACK_PATH=‘/home/www/log/‘$(date -d ‘-1 days‘ +‘%Y/%m/‘); mkdir -p $LOG_BACK_PATH; cd $LOG_PATH && gzip access.log mv access.log.gz $LOG_BACK_PATH‘access_‘$(date +‘%d‘)‘.log.gz‘; kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`;crontab -e00 * * * /bin/bash /bin/bash /root/tools/crond/ngin...

Nginx 日志按天分割【代码】

#nginx日志切割脚本#!/bin/bash #设置日志文件存放目录 logs_path="/home/www.xxx.com/wwwlogs/" #设置pid文件 pid_path="/usr/local/nginx/nginx.pid"#重命名日志文件 mv ${logs_path}host.access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").log#向nginx主进程发信号重新打开日志 kill -USR1 `cat ${pid_path}`1.新建sh脚本，命名为 nginx.log.sh2.添加crontab定时任务执行命令: crontab -e 在打开的文件中输入00 ...

apache与nginx 日志切割【代码】

apache与nginx 日志切割web的日志是重中之重，可以通过分析日志得到丰富的网站信息；如果对日志没有很好的处理，比如所有的日志都记录在一个文件上，那日积月累后，那么这个文件会很庞大，也会影响到分析日志的效率，最重要的是单个日志过于庞大，会影响web服务往日志文件写入信息的速度，所以合理的处理和分配日志是非常有必要的；下面就记录一些web日志分割的方法；1、apache 让apache的日志按天分割，即每天生成一个新的日志记...

日志 - 相关标签

日志代码日志分类日志服务器日志格式日志管理日志级别日志系统

日志 - 最热教程

pt-query-digest解析MySQLBinlog日志文...详解Python中logging日志模块在多进程环...SQL Server 收缩日志清空删除大日志文...mysql查看执行sql语句的记录日志 ssh登录日志收集 Filebeat收集单个日志&json格式使用nginx访问服务器log日志 linux C中的多进程概念与log日志与部分...过滤nginx日志并添加防火墙拒绝访问 ce...Oracle如何决定日志切换到剩下的那个日...

首页 / 日志 / ELK实践（二）：收集Nginx日志

ELK实践（二）：收集Nginx日志

内容导读

内容图文

Nginx访问日志

Filebeat采集日志数据到ElasticSearch

Filebeat采集日志数据，Logstash过滤发到ElasticSearch

参考

内容总结

内容备注

内容手机端

【ELK实践（二）：收集Nginx日志】教程文章相关的互联网学习教程文章

日志 - 相关标签

日志 - 最新教程

日志 - 最热教程