首页 / 日志 / ELK7.4.0分析nginx json日志

ELK7.4.0分析nginx json日志

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了ELK7.4.0分析nginx json日志，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5365字，纯文字阅读大概需要8分钟。

内容图文

ELK7.4.0单节点部署

环境准备

安装系统,数据盘设置为/srv
内核优化参考
我们需要创建elk专用的账号,并创建所需要的目录并授权

        useradd elk;
mkdir /srv/{app,data,logs}/elk
chown -Rf elk:elk /srv/{app,data,logs}/elk

修改/etc/security/limits.conf

        *  soft  nofile 65536
*  hard  nofile 65536
*  soft  nproc  65536
*  hard  nproc  65536

elk  soft  nofile 65536
elk  hard  nofile 65536
elk  soft  nproc  65536
elk  hard  nproc  65536

安装elk过程所有操作必须使用elk账户进行！

        su - elk

Elasticsearch

这次先用的是单节点的ES,没有部署集群,集群部署的后续会更新

首先我们需要从官网下载最新的es安装包,这里建议使用tar包安装;

        cd /srv/app/elk;
wget http://172.19.30.116/mirror/elk/elasticsearch/7.4.0/elasticsearch-7.4.0-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz
mv elasticsearch-7.4.0-linux-x86_64.tar.gz elasticsearch

修改es的配置文件/srv/app/elk/elasticsearch/config/elasticsearch.yml

        cluster.name: es-cluster
node.name: es-1
node.master: true     #允许为master节点
node.data: true       #允许为数据节点
path.data: /srv/data/elk/elasticsearch   #设置数据目录
path.logs: /srv/logs/elk/elasticsearch   #设置日志目录

network.host: 127.0.0.1     #仅允许本地访问,如要其它网段访问,可以设置为网段地址,也可以直接写成0.0.0.0
http.port: 9200             #http端口,默认为9200

http.cors.enabled: true
http.cors.allow-origin: "*"
xpack.security.enabled: false

JVM内存我给了4G,查询的量也比较小,小一点没关系,根据使用情况来看,es7.4.0版本比较耗费内存

        -Xms4g
-Xmx4g

启动es, 生产环境不建议如下这种方式启动,建议使用supervisord服务启动,建议参考: https://www.cnblogs.com/lizhaojun-ops/p/11962485.html

        /srv/app/elk/elasticsearch/bin/elasticsearch -d

Kibana

        cd /srv/app/elk;
wget http://172.19.30.116/mirror/elk/kibana/7.4.0/kibana-7.4.0-linux-x86_64.tar.gz
tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz
mv kibana-7.4.0-linux-x86_64 kibana

修改kafka的配置文件 ``

        server.port: 5601
server.host: "localhost"   #也可以直接写成0.0.0.0
server.name: "kibana"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
i18n.locale: "en"     #如果要开启中文可以改成zh-CN

启动kibana,生产环境不建议如下这种方式启动,建议使用supervisord服务启动,建议参考: https://www.cnblogs.com/lizhaojun-ops/p/11962485.html

        /srv/app/elk/kibana/bin/kibana

logstash

        cd /srv/app/elk;
wget http://172.19.30.116/mirror/elk/logstash/7.4.0/logstash-7.4.0.tar.gz
tar -zxvf logstash-7.4.0.tar.gz
mv logstash-7.4.0 logstash

根据实际情况修改jvm /srv/app/elk/logstash/config/jvm.options; 默认1G,如果日志的数量比较大,可以改成2G或者更多

        -Xms1g
-Xmx1g

至此,ELK集群已经部署完成了,现在我们需要准备我们的Redis和filebeat了,redis用来做日志的暂存队列,filebeat收集nginx或者其他应用的日志

REDIS

        yum install epel-release -y
yum install redis* -y
chkconfig redis on
service redis start

Filebeat

在nginx节点上安装filebeat，修改nginx的log_format,新增nginxjson,并让日志引用这个格式的日志，可以参考这篇博客：

        log_format nginxjson '{"@timestamp":"$time_iso8601",'
                  '"host":"$server_addr",'
                  '"service":"nginx",'
                  '"trace":"$upstream_http_ctx_transaction_id",'
                  '"clientip":"$remote_addr",'
                  '"remote_user":"$remote_user",'
                  '"request":"$request",'
                  '"url":"$scheme://$http_host$request_uri",'
                  '"http_user_agent":"$http_user_agent",'
                  '"server_protocol":"$server_protocol",'
                  '"size":$body_bytes_sent,'
                  '"responsetime":$request_time,'
                  '"upstreamtime":"$upstream_response_time",'
                  '"upstreamhost":"$upstream_addr",'
                  '"http_host":"$host",'
                  '"domain":"$host",'
                  '"xff":"$http_x_forwarded_for",'
                  '"x_clientOs":"$http_x_clientOs",'
                  '"x_access_token":"$http_x_access_token",'
                  '"referer":"$http_referer",'
                  '"status":"$status"}';

        rpm -ivh http://172.19.30.116/mirror/elk/filebeat/7.4.0/filebeat-7.4.0-x86_64.rpm
chkconfig filebeat on

修改filebeat的配置/etc/filebeat/filebeat.yml

        filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/nginx_access.log
  tags: ["nginx-access"]
  document_type: json-nginxaccess
  tail_files: true
  
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:

output.redis:
   enabled: true
   hosts: ["192.168.1.1:7000"]    #这里的是自定义的REDIS服务器IP,redis端口默认是6379,请根据自己的情况修改
   port: 7000
   key: nginx
   db: 0
   datatype: list

现在我们反过来配置logstash

        mkdir /srv/app/elk/logstash/config/conf.d
vim /srv/app/elk/logstash/config/conf.d/nginx-logs.conf

写入以下内容

        input {
     redis {
         host => "192.168.1.1"
         port => "7000"
         key => "nginx"
         data_type => "list"
         threads => "5"
         db => "0"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["beat"]
    }

    geoip {
               source => "clientip"
    }

    geoip {
        source => "clientip"
        target => "geoip"
        add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
        add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
    }

    grok {
                match => ["message","%{TIMESTAMP_ISO8601:isotime}"]
        }
    date {
        locale => "en"
        match => ["isotime","ISO8601"]
        target => "@timestamp"
    }
        mutate {
                convert => [ "[geoip][coordinates]", "float"]
                # remove_field => ["message"]
        }
}

output {
            elasticsearch {
                    hosts => ["127.0.0.1:9200"]
                    index => "logstash-nginx-logs-%{+YYYY.MM.dd}"
            }
}

启动logstash,建议使用supervisord服务启动,建议参考: https://www.cnblogs.com/lizhaojun-ops/p/11962485.html

        /srv/app/elk/logstash/bin/logstash -f  /srv/app/elk/logstash/config/conf.d/nginx-logs.conf

后记

Nginx代理kibana访问,方便添加http认证

主要的配置如下:

        server {
         listen       80;
         server_name  kibana;
         access_log   off;
         error_log    off;

         location / {
             auth_basic         "Kibana";
             auth_basic_user_file  /srv/app/tengine/conf/conf.d/passwd; 
             proxy_pass         http://127.0.0.1:5601;
             proxy_set_header   Host             $host;
             proxy_set_header   X-Real-IP        $remote_addr;
             proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
         }
}

添加账户的脚本/srv/app/tengine/conf/conf.d/adduser.sh

        #!/bin/bash
read -p "请输入用户名: " USERNAME
read -p "请指定用户密码: " PASSWD
printf "$USERNAME:$(openssl passwd -crypt $PASSWD)\n" >> passwd

原文：https://www.cnblogs.com/lizhaojun-ops/p/11962524.html

内容总结

以上是互联网集市为您收集整理的ELK7.4.0分析nginx json日志全部内容，希望文章能够帮你解决ELK7.4.0分析nginx json日志所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1149064.html

来源：【匿名】

【上一篇】linux下使用Xshell查看tomcat实时日志中文乱码解决方案【下一篇】php错误日志怎么看

更多 ►

【ELK7.4.0分析nginx json日志】教程文章相关的互联网学习教程文章

windows系统的日志分析【图】

一、Windows操作系统日志介绍：　　1.Windows操作系统日志介绍：　　　　<1>.Windows操作系统在运行生命周期，以特定数据结构方式存储、记录OS大量运行的日志信息，例如：System、Security、Application... ...，主要包括：Windows事件日志（Event Log）、Windows Web Server IIS日志、Windows FTP日志、Exchange Server邮件服务、MS SQL Server数据库日志等。　　　　<2>.Windows日志包含9个元素：日期/时间、事件类型、用户、计算...

使用Pig对手机上网日志进行分析【图】

在成功安装Pig的基础上，本文将使用Pig对手机上网日志进行分析，具体步骤如下：写在前面：手机上网日志文件phone_log.txt，文件内容及字段说明部分截图如下需求分析显示每个手机号的上网流量情况。依次完成以下步骤：1、将Linux本地文件phone_log.txt上传到HDFS执行命令dump C; 查看经过以上步骤处理后的结果查看经过以上步骤处理后的结果OK，齐活！原文：http://blog.csdn.net/aaronhadoop/article/details/26804589

今晚九点|如何使用 Python 分析 web 访问日志？【图】

主题：如何使用 Python 分析 Web 访问日志内容Python 基础字符串、字典、文件、时间Web 访问日志实战提问主讲师：KK多语言混搭工程师，热爱开源技术，喜欢GET新技能，5年 PHP、Python 项目开发经验，带领团队完成多个中、小型项目开发，对安全、云等多个领域富有浓厚兴趣，擅长于 WEB 安全开发、性能优化、分布式应用开发&设计等多方面，做事认真负责，乐于分享技能，现任 51Reboot.com Python 实战班讲师任何语言都有使用场景，只...

基于logstash+elasticsearch+kibana的日志收集分析方案（Windows）【代码】【图】

一方案背景通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。因为ELK是可以跨平台部署，因此非常适用于多平台部署的应用。二环境准备 1. 安装JDK1.8环境 2. 下载ELK软件包logsta...

JVM垃圾回收日志结构分析【图】

我们在我们Server的gc log上经常看到下面的这个日志：总结一下各个字段表达的是什么意思： Young GCFull GC:原文：http://www.cnblogs.com/moonandstar08/p/4934548.html

Windows系统下Log4Net+FileBeat+ELK日志分析系统问题总结【图】

问题如下：1.FileBeat日志报 "dial tcp 127.0.0.1:5544: connectex: No connection could be made because the target machine actively refused it"解决过程：A：修改FileBeat文件夹中filebeat.yml文件，直接输出结果到elasticsearch中，经测试elasticsearch中可以查看到数据，排除FileBeat问题B：控制台中输入以下内容，启动logstash程序，看是否能启动成功，经测试logstash无法启动，提示输入控件beats问题C：控制台中继续输入p...

网站日志实时分析工具GoAccess使用

网站日志实时分析工具GoAccess使用系统环境CentOS release 5.5 (Final) GoAccess是一款开源的网站日志实时分析工具。 GoAccess 的工作方式就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排名，访客使用的操作系统，访客使用的浏览器，来路域名，404 错误，搜索爬虫，搜索关键词等...

ELK-Logstash Nginx 日志分析

logstash配置文件# nginx_log.confinput { file { type => "nginx_log" path => "/opt/nginx/logs/access.log" }} filter { if [type] == "nginx_log" { grok { match => { "message" => "%{NGINXACCESS}" } } if ([message] =~ "^*launcher*|^*favicon*") { drop {} } geoip { source => "remote_addr" target => "geoip" database => "/op...

分析rails日志，计算响应率【代码】

chmod +x analyse_log copy_log （1）拷贝脚本到本地脚本内容如下：#!/usr/bin/env bash LOG_PATH=/opt/logs LOCAL_LOG_PATH=~/Documents/logs/8-15 PROJECTS=(m-cms-for-tudou-tv m-cms-for-tv)if [[ $1 == "--debug" ]]; thenset -x fi# Create local directoriesfor project in ${projects[@]}; domkdir -p $SAVE_TO/$project done# Copy m-cms-for-tv project=m-cms-for-tv remote_log_dir=$LOG_PATH/$projectfor server in {1...

使用AWSTATS自动分析Nginx日志【代码】【图】

环境说明：Nginx安装目录：/usr/local/nginxNginx配置文件存放目录：/usr/local/nginx/conf/nginx.confNginx日志目录：/usr/local/nginx/logsAwstats安装目录：/usr/local/awstatsAwstats配置文件存放目录：/etc/awstats日志切割脚本存放目录：/usr/local/nginx/nginx_log.sh一、Nginx日志切割1、修改nginx.conf配置文件，使AWSTATS支持分析日志格式# vim /usr/local/nginx/conf/nginx.conf //去掉前面的#号 log_format main ...

nginx web日志介绍和分析【代码】

nginx web日志介绍和分析Nginx访问日志打印的格式可以自定义，例如Nginx日志打印格式配置如下，Log_format 用来设置日志格式，Name(模块名) Type(日志类型)，可以配置多个日志模块，分别供不同的虚拟主机日志记录所调用：log_formatlog_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘ ‘$status $body_bytes_sent "$http_referer" ‘ ‘"$http_user_agent" $request_...

5.7.17版本mysqlbinlog实时拉取的二进制日志不完整的原因分析【代码】【图】

问题描述：同事使用mysqlbinlog工具的--read-from-remote-server --raw选项，从远程实例实时拉取二进制日志时，发现得到的二进制日志文件大小与远程实例上的源文件大小不相同，并且使用mysqlbinlog解析时会报错。测试环境版本信息如下：MySQL版本：5.7.17 log MySQL Community Server (GPL) 通用tar包安装Mysqlbinlog版本：5.7.17 自带版本，mysqlbinlog Ver 3.4 for linux-glibc2.5 at x86_64操作系统版本：CentOS Linux release...

python分析nginx日志的ip,url,status【代码】

Python 脚本如下：#!/usr/bin/env python #_*_coding:utf-8 _*_ __author__ = ‘lvnian‘#!/usr/bin env python # coding: utf-8 import MySQLdb as mysql import sys, osdb = mysql.connect(user="root",passwd="xxxxx@2015",db="intest",host="192.168.10.12") #数据库连接信息 db.autocommit(True) cur = db.cursor() cur.execute(‘set names utf8‘)dict_list = {} with open(‘access.log‘) as logfin: for line in log...