目录 1、ES基本操作 ES&kibana 索引操作 增删改查3、nginx 自定义提取字段 去除字段 时间轴1、ES基本操作 Elasticsearch的概念索引 ->类似于Mysql中的数据库 类型 ->类似于Mysql中的数据表 文档 ->存储数据ES&kibana 测试Web接口浏览器访问 Kibana操作：GET /出现下图所示的效果，说明kibana和ES联动成功。索引操作 //创建索引 PUT /zhang//删除索引： DELETE /zhang//获取所有索引： GET /_cat/indices?v 增删改查 ES插入数据 P...
运维工作是一个比较复杂的工作，有时候面对上万条的日志，如何作分析？难道一条条的分析？聪明的人会选择脚本，这就是为什么现在提倡自动化运维的原因吧，废话不多说，直接上脚本。vim /data/scripts/log_analysis.sh #!/bin/bash ############################################### # Desc ：nginx日志分析脚本 # # Author : Bertram # # Date : 2019-12-21 ...
MySQL慢查询日志分析 分析工具mysqlsla的安装以及使用，mysqlsla是hackmysql.com推出的一款MySQL的日志分析工具，功能非常强大. 数据报表,非常有利于分析慢查询的原因, 包括执行频率, 数据量, 查询消耗等。 在CentOS下安装mysqlsla yum install perl-DBI perl-DBD-MySQL perl-devel -y #安装依赖包 wget ftp://ftp.tw.freebsd.org/pub/distfiles/mysqlsla-2.03.tar.gz #下载 perl Makefile.PL #预编译 make #编译 make install 安...
MySQL中的日志包括：错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能：通用查询日志和慢查询日志。 1）通用查询日志：记录建立的客户端连接和执行的语句。 2）慢查询日志：记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询 （1）通用查询日志 在学习通用日志查询时，需要知道两个数据库中的常用命令： 1） showvariables like ‘%version%’; 上述命令，显示当前数...
注：本文系原创投稿 本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义)，生产环境请根据具体需要统计的域名进行统计。 由于涉及生产线上服务器，故本文部分服务器IP做了打码处理。 一、服务介绍 1.1、ELK ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻...
上周咳嗽比较厉害，暂停了一周更新，收到很多小伙伴的留言，真是非常感动，非常感谢大家关心和支持，现在吃了几天药，基本好的差不多了，这周咱们接着谈python在运维中的技术实践，今天的脚本是分析nginx的访问日志， 主要为了检查站点uri的访问次数，检查的结果会提供给研发人员做参考，因为谈到分析嘛，那肯定要用到正则表达式了，所以请没有接触过正则的小伙伴自行补脑，因为涉及正则的知识点过于庞大，所以一篇两篇是根本不能写...
用于简单的文本筛选和日志分析还是很方便的。 我这里用的kali **目的：**筛选出test文件中 状态码为500的url 命令：cat test |grep '500' >test1 或grep '500' test >out满足两个条件中的一个条件（包含“500” 或者 包含“302”）的命令：cat test |grep -E '500|302' >test3同时满足两个条件中（包含“1805” 和 “1905”）的命令： cat test| grep "500" | grep "302" > test4
前言 我正在整理一个项目，收集和汇总了一些应急响应案例（不断更新中）。 GitHub 地址：https://github.com/Bypass007/Emergency-Response-Notes本文主要介绍Linux日志分析的技巧，更多详细信息请访问Github地址，欢迎Star。 一、日志简介 Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。本文简介一下Linux系统日志及日志分析技巧。 日志默认存放位置：/var/log/ 查看日志...
mysql> show variables like %version%; +-------------------------+------------------------------+ | Variable_name | Value | +-------------------------+------------------------------+ | innodb_version | 1.1.7 | | protocol_version | 10 | | slave_type_conversions | | | versio...
1. 安装依赖 yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel -y wget https://github.com/maxmind/geoip-api-c/releases/download/v1.6.11/GeoIP-1.6.11.tar.gz tar -zvxf GeoIP-1.6.11.tar.gz cd GeoIP-1.6.11 ./configure make && make install 2. 安装goaccess wget https://tar.goaccess.io/goaccess-1.3.tar.gz tar -xzvf goaccess-1.3.tar.gz cd goaccess-1.3 ./configure --enable-utf8 --enab...
日志分析随意的tail一个access_log文件,下面是一条经典的访问记录218.19.140.242 – - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1″ 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”实用的日志分析脚本了解日志的各种定义后,这里分享一下从网上淘来的...
目录1、背景介绍2、思路演进2.1、第一步读取日志2.2、第二步解析日志2.3、第三步分析日志2.4、第四步生成报告2.5、第五步日志采集2.6、结果展示2.7、可扩展方向大佬请自觉路过~ ~ ~1、背景介绍本文以我的博客站点其中一段时间的访问日志为例进行分析用到的知识点基本数据类型列表，基本数据类型字典，re模块正则匹配，pandas模块数据处理，xlwt模块excel写入等最终实现的功能分析得到日志中访问ip的top20，访问地址的top20，访问客...
在没有专业日志分析系统的情况下，我们有时需要对日志进行简单的分析，下面列出一些常用的shell命令分析日志的方法，一定要收藏1、查看有多少个ip访问awk {print $1} log_file|sort|uniq|wc -l2、查看某一个页面被访问的次数：grep "/index.php" log_file | wc -l3、查看每一个IP访问了多少个页面：awk {++S[$1]} END {for (a in S) print a,S[a]} log_file > log.txtsort -n -t -k 2 log.txt 配合sort进一步排序4、将每个IP访问...
1.1对某linux服务器登录连接日志分析 1.1.1Linux记录用户登录信息文件 Linux操作系统登录连接连接日志文件有var/log/wtmp、/var/log/btmp和/var/run/utmp，这三个文件均为二进制文件，并且三个文件结构完全相同，是由/usr/include/bits/utmp.h文件定义了这三个文件的结构体，它们无法通过编辑器直接查看其详细内容，通过notepad等工具可以查看部分内容。 1./var/run/utmp utmp记录当前正在登录系统的用户信息 2/var/log/wtmp wtmp记...
前面的三篇微博写了ELK+Nginx的简单部署 https://blog.csdn.net/lengyer/article/details/110946394 https://blog.csdn.net/lengyer/article/details/110951140 https://blog.csdn.net/lengyer/article/details/110919426 Kibana+Nginx的应用 生成索引模式最终效果图