日志采集分析实例

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了日志采集分析实例，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2961字，纯文字阅读大概需要5分钟。

内容图文

背景简述：业务的一系列的落地页产生了一批cdn日志，需要抓取落地页的地址，然后进行内容分析。

    之前做过elastic stack方案做过nginx日志实时采集系统，对elastic家的产品情有独钟。配置快捷，开发少，简单高效。于是决定继续采用elastic的部分产品作为工具。

一、解决方案：filebeat+logstash+mysql+脚本语言

二、准备工作（具体过程省略）：

1.要采集的日志文件。

2. 安装MySQL。
3. 安装Filebeat。
4. 安装Logstash。

三、详细过程：

1.配置Filebeat采集日志。
修改filebeat.yml

#配置filebeate的输入
# ============================== Filebeat inputs ===============================
 #这里开启Filebeat的输入配置
  filebeat.inputs:

 #这里指定输入类型
  - type: log
    enabled: true

    paths:

        # 这里指定日志文件的路径
      - /Users/zhang****/Downloads/test_log/logs/*

#配置Filebeat的输出，这里输出到Logstash。（注意：输出到其他的地方要先注释关闭）
# ------------------------------ Logstash Output ------------------------------- output.logstash:
   # The Logstash hosts
   hosts: ["localhost:5044"]

2.安装logstash-output-jdbc插件，下载mysql-connector-java

#安装logstash-output-jdbc
./bin/logstash-plugin install logstash-output-jdbc

#下载mysql-connector-java
可以在这里选择适合的版本：http://mvnrepository.com/artifact/mysql/mysql-connector-java

4.配置logstash的输入、过滤、输出
修改配置文件./config/logstash.conf

#这里配置输入源为beats（Filebeate属于Elastic的Beats系统产品的一种）
   input {
     beats {
       port => 5044

       #客户端响应超时时间
       client_inactivity_timeout => 60000
    }
  }

#配置日志过滤，这里采用grok组件进行日志格式匹配
#grok规则见https://github.com/logstash-plugins/logstash-patterns-core

 filter {
       grok {
          match => {
              "message" => "\[%{HTTPDATE:visited_time}\] %{IP:visited_ip} .* \"%{GREEDYDATA:referer_url}\" \"GET %{URI:target_url}\" .* \"%{GREEDYDATA:user_agent}\" \"%{GREEDYDATA    :content-type}\""
          }
      }

         #剔除掉Content-Type为icon的日志
      if([content-type] == 'image/x-icon')
      {
          drop{}
      }
 }

 #配置结果的输出
   output {
    #elasticsearch {
    #  hosts => ["http://localhost:9200"]
    #  index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #  #user => "elastic"
    #  #password => "changeme"
    #}

    #stdout{
    #      codec=>rubydebug{}
    #}

#这里需要安装Logstash的logstash-jdbc-output插件，下载好mysql-connector-java
    jdbc {
        connection_string => "jdbc:mysql://localhost:3306/land_page?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowMultiQueries=true"
        username => "root"
        password => "***"
        driver_jar_path => "/Users/zhang***/Downloads/logstash-7.11.2/mysql-connector-java/mysql-connector-java-8.0.16.jar"
        driver_class => "com.mysql.cj.jdbc.Driver"
        statement => [ "INSERT INTO land_page_log (visited_ip,visited_time,referer_url,target_url,content_type,user_agent) VALUES(?,?,?,?,?,?)", "[visited_ip]", "[visited_time]","    [referer_url]","[target_url]","[content-type]","[user_agent]" ]
    }

四、开启服务

#开启Logstash服务
cd logstash安装目录
./bin/logstash -c ./config/logstash.config

#开启Filebeat服务
cd filebeat安装目录
./filebeat -e -c ./filebeat.yml

五、日志分析
要分析的日志内容已经收集到了mysql数据库持久化存储，后续可以通过其他工具慢慢分析，这里不做阐述。

内容总结

以上是互联网集市为您收集整理的日志采集分析实例全部内容，希望文章能够帮你解决日志采集分析实例所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---