1.1对某linux服务器登录连接日志分析 1.1.1Linux记录用户登录信息文件 Linux操作系统登录连接连接日志文件有var/log/wtmp、/var/log/btmp和/var/run/utmp，这三个文件均为二进制文件，并且三个文件结构完全相同，是由/usr/include/bits/utmp.h文件定义了这三个文件的结构体，它们无法通过编辑器直接查看其详细内容，通过notepad等工具可以查看部分内容。 1./var/run/utmp utmp记录当前正在登录系统的用户信息 2/var/log/wtmp wtmp记...
前面的三篇微博写了ELK+Nginx的简单部署 https://blog.csdn.net/lengyer/article/details/110946394 https://blog.csdn.net/lengyer/article/details/110951140 https://blog.csdn.net/lengyer/article/details/110919426 Kibana+Nginx的应用 生成索引模式最终效果图
通过SSH连接到Plesk服务器 。在MySQL配置文件中启用MySQL慢查询日志my.cnf：2.1。my.cnf在任何文本编辑器中打开文件。在这个例子中，我们使用的是“vi”编辑器：2.2。添加以下[mysqld]部分下面的记录：slow_query_log = 1log-slow-queries = /var/log/mysql-slow.loglong_query_time = 2Note: In MySQL 5.7, the variable log-slow-queries is deprecated. Use slow_query_log_file instead.2.3。保存更改并关闭文件。其中long_qu...
1. 部署环境2. 架构拓扑3. nginx安装 安装在192.168.176.128服务器上 这里安装就简单粗暴了直接yum安装nginx [root@manager ~]# yum -y install epel-release [root@manager ~]# yum -y install nginx 检查是否安装成功(这里选择了查看版本号) [root@manager ~]# nginx -V nginx version: nginx/1.12.2 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) built with OpenSSL 1.0.2k-fips 26 Jan 2017 TLS SNI support enabl...
一、背景 1.MySQL慢查询日志格式： # Time: 181109 15:04:08 # User@Host: tvpayrcdev[tvpayrcdev] @ [172.16.14.51] Id: 8960747 # Query_time: 35.918265 Lock_time: 0.000141 Rows_sent: 1 Rows_examined: 11699162 SET timestamp=1541747048; select count(*) from trade_risk_control_record 2.MySQL慢查询日志已通过rsyslog实时传输到logstash作为Indexer的节点。 二、logstash配置文件 input部分 input {file {type => ...
有一台预上线的服务器最近在做压力测试，也引发了一系列的相关问题，排查思路可以提供参考。 问题的起因就是收到同事提醒，根据监控报警提示，磁盘空间满了。上面有一个MySQL服务，现在已经写入不了数据了。>create table test(id int);ERROR 14 (HY000): Cant change size of file (Errcode: 28 - No space left on device)碰到这类问题，直观的思路就是查看分区下最大的文件，当然如果足够智能，也可以启用前几天提到的故障自愈的...
Nginx access.log 日志统计分析常用命令 我的 nginx 日志格式log_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l查看某一时间段的IP访问量（4-5点） grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq ...
awk是Linux系统下一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及生成报表等等，应用非常广泛。 默认日志格式： '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"' 统计访问IP次数：# awk '{a[$1]++}END{for(v in a)print v,a[v]}' access.log 统计访问访问大于100次的IP： # awk '{a[$1]++}EN...
学习资料高级Bash脚本编程指南 LINUX与UNIX SHELL编程指南 鸟哥的Linux私房菜 IBM DeveloperWorks 阮一峰的《bash脚本教程》 Google实战内容日志数据检索find_error_log 编写一个函数 find_error_log() 1.找出log中的404 500的报错 个数考察严谨性awk $9~/404|500/{print $9} nginx.log |sort|uniq -c .2.找出500错误时候的上下文 考察grep高级用法grep -C 2 500 nginx.log日志数据统计找出访问量最高的ip top10统计分析awk {pri...
Nginx 日志分析 说明：日志分析是运维人员在对系统及应用程序维护时的一个必要的也是最有效的工具之一，所以学习日志分析是做为一个运维人员的必要选择，及掌握日志分析是作为一个运维人员的必要技能 在centons6以上的系统版本中，这种日志数据由系统服务rsyslog同一管理，根据其配置文件/etc/rsyslog.conf中的设置决定将内核消息及各种系统程序消息记录到什么位置。 由于日志的重要性，所以syslog服务成为服务器五个必备服务成员之...
之前的文档介绍了ELK架构的基础知识，日志集中分析系统的实施方案：- ELK+Redis- ELK+Filebeat - ELK+Filebeat+Redis- ELK+Filebeat+Kafka+ZooKeeperELK进一步优化架构为EFK，其中F就表示Filebeat。Filebeat即是轻量级数据收集引擎，基于原先Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是ELK Stack在shipper端的第一选择。这里选择ELK+Redis的方式进行部署，下面简单记录下ELK结合Re...
某答题系统日志分析 一、数据描述二、准备工作1.准备数据2.准备环境 三、功能需求1.上传数据至HDFS2.使用 SQL 完成分析3.创建HBase数据表4.创建Hive数据表 四、查询工作1.使用 ex_exam_record 表中的数据统计每个学员总分、答题的试题数和正确率，并保存 到 ex_exam_anlysis 表中。2.使用 ex_exam_record 表中的数据统计每个作对，做错，半对的题目列表。一、数据描述 这是一份来自于某在线考试系统的学员答题批改日志，日志中记录...
前言： 有时候，连接MySQL的会话经常会异常退出，错误日志里会看到"Got an error reading communication packets"类型的告警。本篇文章我们一起来讨论下该错误可能的原因以及如何来规避。 1.状态变量Aborted_clients和Aborted_connects 首先我们来了解下Aborted_clients和Aborted_connects这两个状态变量的含义，当出现会话异常退出时，这两个状态值会有变化。根据官方文档描述，总结如下： 造成Aborted_connects状态变量增加的可能...
mysql 慢查询分析工具 mysql慢查询的开启mysql慢查询分析工具mysql慢查询的开启 找到mysql的配置文件，如果没有一下3个配置则添加，有则修改 slow_query_log = 1;（或者on都可以）开启慢查询日志 slow_query_log_file = /usr/local/mysql/data/slow_query.log 日志保存的路径; long_query_time = 3;慢查询的时间，单位秒，条件是大于 log_output = FILE 默认FILE，是记录到文件中，TABLE是存入mysql.slow_log表中。2者可同时存在,以...
Archive存储引擎只支持INSERT和SELECT操作，在MySQL5.1之前也不支持索引。 Archive引擎会缓存所有的写并利用zlib对插入的行进行压缩，所以比MyISAM表的磁盘I/O更少， 但是每次SELECT查询都需要执行全表扫描。所以Archive引擎适合日志和数据采集类应用， 这类应用作数据分析时往往需要全表扫描。或者在一些需要更快速的INSERT操作的场合下也可以使用。