首页 / 日志 / MySQL 慢日志分析

MySQL 慢日志分析

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MySQL 慢日志分析，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7816字，纯文字阅读大概需要12分钟。

内容图文

pt-query-digest基本使用：

https://www.percona.com/downloads/percona-toolkit/LATEST/

选择对应版本

技术分享图片

下载完毕后上传到对应目录/server/tools/

MySQL配置文件：

                     1
                    [
                    mysqld
                    ]
                     2 basedir=/application/mysql
 3 datadir=/application/mysql/data
 4 socket=/tmp/mysql.sock
 5log-error=/var/log/mysql.log 6log-bin=/data/mysql/mysql-bin
 7 server-id=6 8 port=3306 9 secure-file-priv=/tmp
10 binlog_format=row
11 slow_query_log=112 slow_query_log_file=/data/mysql/slow.log13 long_query_time=0.0514log_queries_not_using_indexes
15[client]16 socket=/tmp/mysql.sock

项目code

                      1 #-------------------------------------------------------------------------------  2#
  3# 模拟slow日志分析
  4 # 通过percona-toolkit-3.0.10_x86_64.tar.gz
  5# Author：nod
  6 # Date:18-08-05  7 #-------------------------------------------------------------------------------  8  9 #------------------------------------------------------------------------------- 10# 模拟环境数据
 11 #------------------------------------------------------------------------------- 12 mysql>use world;
 13Database changed
 14 15 mysql>createtable t1 select*from city;
 16 Query OK, 4079 rows affected (0.24 sec)
 17 Records: 4079  Duplicates: 0  Warnings: 0 18 19 mysql>insertinto t1 select*from t1;
 20 Query OK, 4079 rows affected (0.76 sec)
 21 Records: 4079  Duplicates: 0  Warnings: 0 22 23 mysql>insertinto t1 select*from t1;
 24 Query OK, 8158 rows affected (0.15 sec)
 25 Records: 8158  Duplicates: 0  Warnings: 0 26 27 mysql>insertinto t1 select*from t1;
 28 Query OK, 16316 rows affected (0.29 sec)
 29 Records: 16316  Duplicates: 0  Warnings: 0 30 31 mysql>insertinto t1 select*from t1;
 32 Query OK, 32632 rows affected (0.36 sec)
 33 Records: 32632  Duplicates: 0  Warnings: 0 34 35 mysql>insertinto t1 select*from t1;
 36 Query OK, 65264 rows affected (0.64 sec)
 37 Records: 65264  Duplicates: 0  Warnings: 0 38 39 mysql>insertinto t1 select*from t1;
 40 Query OK, 130528 rows affected (1.98 sec)
 41 Records: 130528  Duplicates: 0  Warnings: 0 42 43 mysql>insertinto t1 select*from t1;
 44 Query OK, 261056 rows affected (3.20 sec)
 45 Records: 261056  Duplicates: 0  Warnings: 0 46 47 mysql>insertinto t1 select*from t1;
 48 Query OK, 522112 rows affected (6.63 sec)
 49 Records: 522112  Duplicates: 0  Warnings: 0 50 51 mysql>insertinto t1 select*from t1;
 52 Query OK, 1044224 rows affected (25.21 sec)
 53 Records: 1044224  Duplicates: 0  Warnings: 0 54 55 mysql>insertinto t1 select*from t1;
 56 Query OK, 2088448 rows affected (40.06 sec)
 57 Records: 2088448  Duplicates: 0  Warnings: 0 58 59 mysql>selectcount(*) from t1;
 60+----------+ 61|count(*) | 62+----------+ 63|4176896| 64+----------+ 651 row inset (1.79 sec)
 66 67 mysql>deletefrom t1 where id>2000;
 68 Query OK, 2128896 rows affected (26.41 sec)
 69 70 mysql>selectcount(*) from t1;
 71+----------+ 72|count(*) | 73+----------+ 74|2048000| 75+----------+ 761 row inset (11.60 sec)
 77 78 #------------------------------------------------------------------------------- 79 # 安装 percona-toolkit-3.0.10_x86_64.tar.gz 
 80 #------------------------------------------------------------------------------- 81 82 yum install -y   perl-Time-HiRes
 83 cd /server/tools/ 84 tar xf percona-toolkit-3.0.10_x86_64.tar.gz 
 85pwd
 86/server/tools/percona-toolkit-3.0.10/bin
 87 88 89 #------------------------------------------------------------------------------- 90# 分析slowlog
 91 #------------------------------------------------------------------------------- 92[root@db01 bin]# ./pt-query-digest /data/mysql/slow.log 93 94 # 130ms user time, 10ms system time, 20.77M rss, 169.70M vsz
 95 # Current date: Sun Aug  513:07:022018 96# Hostname: db01
 97 # Files: /data/mysql/slow.log 98 # Overall: 21 total, 7unique, 0.01 QPS, 0.05x concurrency _______________
 99 # Time range: 2018-08-0512:24:28to13:06:55100 # Attribute          total     minmaxavg95%  stddev  median
101 # =============================================================102 # Exec time           120s   936us     40s      6s     25s     11s   356ms
103 # Lock time           37ms       0    32ms     2ms   348us     7ms   176us
104 # Rows sent              3010.140.990.350105 # Rows examine      17.90M       03.98M 872.95k   3.86M   1.37M  31.59k
106 # Query size           608163428.9530.194.1730.19107108# Profile
109 # Rank Query ID           Response time Calls R/Call  V/M   Item
110 # ==================================================================111 #    10xD990BC7C09F20BDA79.333566.2%136.102621.42INSERTSELECT t?
112 #    20x6F6EB4D37DDD5C2326.410922.0%126.41090.00DELETE t?
113 #    30x0EBF4AD96B6F67E713.400511.2%34.46685.59SELECT t?
114 # MISC 0xMISC              0.66750.6%40.16690.0<4 ITEMS>115116 # Query 1: 0.01 QPS, 0.03x concurrency, ID 0xD990BC7C09F20BDA at byte 3738117 # This item is included in the report because it matches --limit.118 # Scores: V/M =21.42119 # Time range: 2018-08-0512:25:20to13:04:52120 # Attribute    pct   total     minmaxavg95%  stddev  median
121 # ================================================================122 # Count6113123 # Exec time     66     79s     8ms     40s      6s     25s     11s   690ms
124 # Lock time      7     3ms   169us   360us   209us   273us    56us   167us
125 # Rows sent      00000000126 # Rows examine  447.97M   3.98k   3.98M 627.85k   1.95M   1.09M  93.20k
127 # Query size    6640331313131031128# String:
129# Databases    world
130# Hosts        localhost
131# Users        root
132# Query_time distribution
133#   1us
134#  10us
135# 100us
136#   1ms  ######################################
137#  10ms
138# 100ms  ################################################################
139#    1s  ######################################
140 #  10s+  #########################
141# Tables
142 #    SHOW TABLE STATUS FROM `world` LIKE‘t1‘\G
143 #    SHOW CREATETABLE `world`.`t1`\G
144insertinto t1 select*from t1\G
145146 # Query 2: 0 QPS, 0x concurrency, ID 0x6F6EB4D37DDD5C23 at byte 4159 _____
147 # This item is included in the report because it matches --limit.148 # Scores: V/M =0.00149 # Time range: all events occurred at 2018-08-0513:06:30150 # Attribute    pct   total     minmaxavg95%  stddev  median
151 # ================================================================152 # Count41153 # Exec time     22     26s     26s     26s     26s     26s       0     26s
154 # Lock time      0   302us   302us   302us   302us   302us       0   302us
155 # Rows sent      00000000156 # Rows examine  223.98M   3.98M   3.98M   3.98M   3.98M       03.98M
157 # Query size     42828282828028158# String:
159# Databases    world
160# Hosts        localhost
161# Users        root
162# Query_time distribution
163#   1us
164#  10us
165# 100us
166#   1ms
167#  10ms
168# 100ms
169#    1s
170 #  10s+  ################################################################
171# Tables
172 #    SHOW TABLE STATUS FROM `world` LIKE‘t1‘\G
173 #    SHOW CREATETABLE `world`.`t1`\G
174deletefrom t1 where id>2000\G
175 # Converted for EXPLAIN
176 # EXPLAIN /*!50100 PARTITIONS*/177select*from  t1 where id>2000\G
178179 # Query 3: 0.00 QPS, 0.01x concurrency, ID 0x0EBF4AD96B6F67E7 at byte 4371180 # This item is included in the report because it matches --limit.181 # Scores: V/M =5.59182 # Time range: 2018-08-0512:25:43to13:06:55183 # Attribute    pct   total     minmaxavg95%  stddev  median
184 # ================================================================185 # Count143186 # Exec time     11     13s     3ms     12s      4s     11s      5s      2s
187 # Lock time      1   507us    92us   277us   169us   273us    78us   131us
188 # Rows sent    1003111101189 # Rows examine  335.94M   3.98k   3.98M   1.98M   3.86M   1.58M   1.95M
190 # Query size    116923232323023191# String:
192# Databases    world
193# Hosts        localhost
194# Users        root
195# Query_time distribution
196#   1us
197#  10us
198# 100us
199#   1ms  ################################################################
200#  10ms
201# 100ms
202#    1s  ################################################################
203 #  10s+  ################################################################
204# Tables
205 #    SHOW TABLE STATUS FROM `world` LIKE‘t1‘\G
206 #    SHOW CREATETABLE `world`.`t1`\G
207 # EXPLAIN /*!50100 PARTITIONS*/208selectcount(*) from t1\G

原文地址：https://www.cnblogs.com/nodchen/p/9425244.html

原文：https://www.cnblogs.com/jpfss/p/12077535.html

内容总结

以上是互联网集市为您收集整理的MySQL 慢日志分析全部内容，希望文章能够帮你解决MySQL 慢日志分析所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1066660.html

来源：【匿名】

【上一篇】用Shell脚本动态分析maillog日志，把恶意IP用防火墙禁止【下一篇】php错误日志怎么看

更多 ►

【MySQL 慢日志分析】教程文章相关的互联网学习教程文章

《Mycat学习笔记》第二篇. MySql 读写分离与日志分析——主从多结点【图】

1 环境说明接上篇环境《Mycat学习笔记》第一篇. MySql 读写分离与日志分析——主从单结点 http://www.cnblogs.com/kaye0110/p/5134588.html增加一套 mysql 实例，端口为3308 ，通过Binlog方式同步主机情况localhost : 3306 主机，在mycat 中配置为 writehost 1localhost : 3307 从机 a ，在mycat 中配置为 readhostlocalhost : 3308 从机 b ，在mycat 中配置为 writehost 2 2 MyCat 配置基本配置参考上篇，差异在于 ...

iOS应用的crash日志的分析基础【图】

Outline如何获得crash日志如何解析crash日志如何分析crash日志 1. iOS策略相关 2. 常见错误标识 3. 代码bug一、如何获得crash日志当一个iOS应用程序崩溃时，系统会创建一份crash日志保存在设备上。这份crash日志记录着应用程序崩溃时的信息，通常包含着每个执行线程的栈调用信息（低内存闪退日志例外），对于开发人员定位问题很有帮助。如果设备就在身边，可以连接设备，打开Xcode - Window - Organizer，在左侧面板中...

windows系统的日志分析【图】

一、Windows操作系统日志介绍：　　1.Windows操作系统日志介绍：　　　　<1>.Windows操作系统在运行生命周期，以特定数据结构方式存储、记录OS大量运行的日志信息，例如：System、Security、Application... ...，主要包括：Windows事件日志（Event Log）、Windows Web Server IIS日志、Windows FTP日志、Exchange Server邮件服务、MS SQL Server数据库日志等。　　　　<2>.Windows日志包含9个元素：日期/时间、事件类型、用户、计算...

使用Pig对手机上网日志进行分析【图】

在成功安装Pig的基础上，本文将使用Pig对手机上网日志进行分析，具体步骤如下：写在前面：手机上网日志文件phone_log.txt，文件内容及字段说明部分截图如下需求分析显示每个手机号的上网流量情况。依次完成以下步骤：1、将Linux本地文件phone_log.txt上传到HDFS执行命令dump C; 查看经过以上步骤处理后的结果查看经过以上步骤处理后的结果OK，齐活！原文：http://blog.csdn.net/aaronhadoop/article/details/26804589

今晚九点|如何使用 Python 分析 web 访问日志？【图】

主题：如何使用 Python 分析 Web 访问日志内容Python 基础字符串、字典、文件、时间Web 访问日志实战提问主讲师：KK多语言混搭工程师，热爱开源技术，喜欢GET新技能，5年 PHP、Python 项目开发经验，带领团队完成多个中、小型项目开发，对安全、云等多个领域富有浓厚兴趣，擅长于 WEB 安全开发、性能优化、分布式应用开发&设计等多方面，做事认真负责，乐于分享技能，现任 51Reboot.com Python 实战班讲师任何语言都有使用场景，只...

基于logstash+elasticsearch+kibana的日志收集分析方案（Windows）【代码】【图】

一方案背景通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。因为ELK是可以跨平台部署，因此非常适用于多平台部署的应用。二环境准备 1. 安装JDK1.8环境 2. 下载ELK软件包logsta...

JVM垃圾回收日志结构分析【图】

我们在我们Server的gc log上经常看到下面的这个日志：总结一下各个字段表达的是什么意思： Young GCFull GC:原文：http://www.cnblogs.com/moonandstar08/p/4934548.html

Windows系统下Log4Net+FileBeat+ELK日志分析系统问题总结【图】

问题如下：1.FileBeat日志报 "dial tcp 127.0.0.1:5544: connectex: No connection could be made because the target machine actively refused it"解决过程：A：修改FileBeat文件夹中filebeat.yml文件，直接输出结果到elasticsearch中，经测试elasticsearch中可以查看到数据，排除FileBeat问题B：控制台中输入以下内容，启动logstash程序，看是否能启动成功，经测试logstash无法启动，提示输入控件beats问题C：控制台中继续输入p...

网站日志实时分析工具GoAccess使用

网站日志实时分析工具GoAccess使用系统环境CentOS release 5.5 (Final) GoAccess是一款开源的网站日志实时分析工具。 GoAccess 的工作方式就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排名，访客使用的操作系统，访客使用的浏览器，来路域名，404 错误，搜索爬虫，搜索关键词等...

ELK-Logstash Nginx 日志分析

logstash配置文件# nginx_log.confinput { file { type => "nginx_log" path => "/opt/nginx/logs/access.log" }} filter { if [type] == "nginx_log" { grok { match => { "message" => "%{NGINXACCESS}" } } if ([message] =~ "^*launcher*|^*favicon*") { drop {} } geoip { source => "remote_addr" target => "geoip" database => "/op...

分析rails日志，计算响应率【代码】

chmod +x analyse_log copy_log （1）拷贝脚本到本地脚本内容如下：#!/usr/bin/env bash LOG_PATH=/opt/logs LOCAL_LOG_PATH=~/Documents/logs/8-15 PROJECTS=(m-cms-for-tudou-tv m-cms-for-tv)if [[ $1 == "--debug" ]]; thenset -x fi# Create local directoriesfor project in ${projects[@]}; domkdir -p $SAVE_TO/$project done# Copy m-cms-for-tv project=m-cms-for-tv remote_log_dir=$LOG_PATH/$projectfor server in {1...

使用AWSTATS自动分析Nginx日志【代码】【图】

环境说明：Nginx安装目录：/usr/local/nginxNginx配置文件存放目录：/usr/local/nginx/conf/nginx.confNginx日志目录：/usr/local/nginx/logsAwstats安装目录：/usr/local/awstatsAwstats配置文件存放目录：/etc/awstats日志切割脚本存放目录：/usr/local/nginx/nginx_log.sh一、Nginx日志切割1、修改nginx.conf配置文件，使AWSTATS支持分析日志格式# vim /usr/local/nginx/conf/nginx.conf //去掉前面的#号 log_format main ...

nginx web日志介绍和分析【代码】

nginx web日志介绍和分析Nginx访问日志打印的格式可以自定义，例如Nginx日志打印格式配置如下，Log_format 用来设置日志格式，Name(模块名) Type(日志类型)，可以配置多个日志模块，分别供不同的虚拟主机日志记录所调用：log_formatlog_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘ ‘$status $body_bytes_sent "$http_referer" ‘ ‘"$http_user_agent" $request_...

5.7.17版本mysqlbinlog实时拉取的二进制日志不完整的原因分析【代码】【图】

问题描述：同事使用mysqlbinlog工具的--read-from-remote-server --raw选项，从远程实例实时拉取二进制日志时，发现得到的二进制日志文件大小与远程实例上的源文件大小不相同，并且使用mysqlbinlog解析时会报错。测试环境版本信息如下：MySQL版本：5.7.17 log MySQL Community Server (GPL) 通用tar包安装Mysqlbinlog版本：5.7.17 自带版本，mysqlbinlog Ver 3.4 for linux-glibc2.5 at x86_64操作系统版本：CentOS Linux release...

python分析nginx日志的ip,url,status【代码】

Python 脚本如下：#!/usr/bin/env python #_*_coding:utf-8 _*_ __author__ = ‘lvnian‘#!/usr/bin env python # coding: utf-8 import MySQLdb as mysql import sys, osdb = mysql.connect(user="root",passwd="xxxxx@2015",db="intest",host="192.168.10.12") #数据库连接信息 db.autocommit(True) cur = db.cursor() cur.execute(‘set names utf8‘)dict_list = {} with open(‘access.log‘) as logfin: for line in log...

首页 / 日志 / MySQL 慢日志分析

MySQL 慢日志分析

内容导读

内容图文

内容总结

内容备注

内容手机端

【MySQL 慢日志分析】教程文章相关的互联网学习教程文章

日志 - 相关标签

分析 - 相关标签

日志 - 最新教程

日志 - 最热教程