首页 / MYSQL / MySQL 8.0版本 binlog2sql 解析binlog

MySQL 8.0版本 binlog2sql 解析binlog

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MySQL 8.0版本 binlog2sql 解析binlog，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6571字，纯文字阅读大概需要10分钟。

内容图文

概述

binlog2sql是一个Python开发开源的MySQL Binlog解析工具，能够将Binlog解析为原始的SQL，也支持将Binlog解析为回滚的SQL，去除主键的INSERT SQL，是DBA和运维人员数据恢复好帮手。

技术分享图片

一、安装配置

1.1 用途

数据快速回滚(闪回)
主从切换后新master丢数据的修复
从binlog生成标准SQL，带来的衍生功能
支持MySQL5.6，5.7

1.2 安装

        shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt

注：如果是mysql 8.0需要修改以下配置

**binlog2sq1路径下的requirements.txt文件需要调整**
cat requirements.txt
PyMySQL==0.7.11
whee1==0.29.0
mysq1-replication==0.13
需要将PyMySQL由0.7.11调整为0.9.3
she11>pip install-r requirements.txt

二、使用方法

2.1 使用前配置

2.1.1参数配置

        [mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full

2.1.2 user需要的最小权限集合

        select, super/replication client, replication slave
建议授权
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO

权限说明

select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
super/replication client：两个权限都可以，需要执行‘SHOW MASTER STATUS‘, 获取server端的binlog列表
replication slave：通过BINLOG_DUMP协议获取binlog内容的权限

2.2 基本用法

2.2.1基本用法

解析出标准SQL

        shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p‘admin‘ -dtest -t test3 test4 --start-file=‘mysql-bin.000002‘
?
输出：
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES (‘2016-12-10 13:03:38‘, ‘english‘, 4); #start 570 end 736
UPDATE `test`.`test3` SET `addtime`=‘2016-12-10 12:00:00‘, `data`=‘中文‘, `id`=3 WHERE `addtime`=‘2016-12-10 13:03:22‘ AND `data`=‘中文‘ AND `id`=3 LIMIT 1; #start 763 end 954
DELETE FROM `test`.`test3` WHERE `addtime`=‘2016-12-10 13:03:38‘ AND `data`=‘english‘ AND `id`=4 LIMIT 1; #start 981 end 1147

解析出回滚SQL

        shell> python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p‘admin‘ -dtest -ttest3 --start-file=‘mysql-bin.000002‘ --start-position=763 --stop-position=1147
?
输出：
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES (‘2016-12-10 13:03:38‘, ‘english‘, 4); #start 981 end 1147
UPDATE `test`.`test3` SET `addtime`=‘2016-12-10 13:03:22‘, `data`=‘中文‘, `id`=3 WHERE `addtime`=‘2016-12-10 12:00:00‘ AND `data`=‘中文‘ AND `id`=3 LIMIT 1; #start 763 end 954

2.2.2 选项

mysql连接配置

-h host; -P port; -u user; -p password

解析模式

--stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。

-K, --no-primary-key 对INSERT语句去除主键。可选。默认False

-B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。

--back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。

解析范围控制

--start-file 起始解析文件，只需文件名，无需全路径。必须。

--start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。

--stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。

--stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。

--start-datetime 起始解析时间，格式‘%Y-%m-%d %H:%M:%S‘。可选。默认不过滤。

--stop-datetime 终止解析时间，格式‘%Y-%m-%d %H:%M:%S‘。可选。默认不过滤。

对象过滤

-d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。

-t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。

--only-dml 只解析dml，忽略ddl。可选。默认False。

--sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。

2.3 应用案例

2.3.1 误删整张表数据，需要紧急回滚

闪回详细介绍可参见example目录下《闪回原理与实战》example/mysql-flashback-priciple-and-practice.md

        test库tbl表原有数据
mysql> select * from tbl;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小赵   | 2016-12-10 00:04:33 |
|  2 | 小钱   | 2016-12-10 00:04:48 |
|  3 | 小孙   | 2016-12-13 20:25:00 |
|  4 | 小李   | 2016-12-12 00:00:00 |
+----+--------+---------------------+
4 rows in set (0.00 sec)
?
mysql> delete from tbl;
Query OK, 4 rows affected (0.00 sec)
?
20:28时，tbl表误操作被清空
mysql> select * from tbl;
Empty set (0.00 sec)

恢复数据步骤：

登录mysql，查看目前的binlog文件

                mysql> show master status;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000051 |       967 |
| mysql-bin.000052 |       965 |
+------------------+-----------+

最新的binlog文件是mysql-bin.000052，我们再定位误操作SQL的binlog位置。误操作人只能知道大致的误操作时间，我们根据大致时间过滤数据。

                shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p‘admin‘ -dtest -ttbl --start-file=‘mysql-bin.000052‘ --start-datetime=‘2016-12-13 20:25:00‘ --stop-datetime=‘2016-12-13 20:30:00‘
输出：
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES (‘2016-12-13 20:26:00‘, 4, ‘小李‘); #start 317 end 487 time 2016-12-13 20:26:26
UPDATE `test`.`tbl` SET `addtime`=‘2016-12-12 00:00:00‘, `id`=4, `name`=‘小李‘ WHERE `addtime`=‘2016-12-13 20:26:00‘ AND `id`=4 AND `name`=‘小李‘ LIMIT 1; #start 514 end 701 time 2016-12-13 20:27:07
DELETE FROM `test`.`tbl` WHERE `addtime`=‘2016-12-10 00:04:33‘ AND `id`=1 AND `name`=‘小赵‘ LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`=‘2016-12-10 00:04:48‘ AND `id`=2 AND `name`=‘小钱‘ LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`=‘2016-12-13 20:25:00‘ AND `id`=3 AND `name`=‘小孙‘ LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`=‘2016-12-12 00:00:00‘ AND `id`=4 AND `name`=‘小李‘ LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05

我们得到了误操作sql的准确位置在728-938之间，再根据位置进一步过滤，使用flashback模式生成回滚sql，检查回滚sql是否正确(注：真实环境下，此步经常会进一步筛选出需要的sql。结合grep、编辑器等)

                shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p‘admin‘ -dtest -ttbl --start-file=‘mysql-bin.000052‘ --start-position=3346 --stop-position=3556 -B > rollback.sql | cat
输出：
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES (‘2016-12-12 00:00:00‘, 4, ‘小李‘); #start 728 end 938 time 2016-12-13 20:28:05
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES (‘2016-12-13 20:25:00‘, 3, ‘小孙‘); #start 728 end 938 time 2016-12-13 20:28:05
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES (‘2016-12-10 00:04:48‘, 2, ‘小钱‘); #start 728 end 938 time 2016-12-13 20:28:05
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES (‘2016-12-10 00:04:33‘, 1, ‘小赵‘); #start 728 end 938 time 2016-12-13 20:28:05

确认回滚sql正确，执行回滚语句。登录mysql确认，数据回滚成功。

                shell> mysql -h127.0.0.1 -P3306 -uadmin -p‘admin‘ < rollback.sql
?
mysql> select * from tbl;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小赵   | 2016-12-10 00:04:33 |
|  2 | 小钱   | 2016-12-10 00:04:48 |
|  3 | 小孙   | 2016-12-13 20:25:00 |
|  4 | 小李   | 2016-12-12 00:00:00 |
+----+--------+---------------------+

三、总结

3.1 限制（对比mysqlbinlog）

mysql server必须开启，离线模式下不能解析
参数 binlog_row_image 必须为FULL，暂不支持MINIMAL
解析速度不如mysqlbinlog

3.2 优点（对比mysqlbinlog）

纯Python开发，安装与使用都很简单
自带flashback、no-primary-key解析模式，无需再装补丁
flashback模式下，更适合闪回实战
解析为标准SQL，方便理解、筛选
代码容易改造，可以支持更多个性化解析

原文：https://www.cnblogs.com/lkj371/p/15177266.html

内容总结

以上是互联网集市为您收集整理的MySQL 8.0版本 binlog2sql 解析binlog全部内容，希望文章能够帮你解决MySQL 8.0版本 binlog2sql 解析binlog所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1147858.html

来源：【匿名】

【上一篇】自己写好的pdo数据库抽象层 mysql为例【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【MySQL 8.0版本 binlog2sql 解析binlog】教程文章相关的互联网学习教程文章

（4.11）mysql备份还原——mysql闪回技术（基于binlog）

0、闪回技术与工具简介mysql闪回工具比较流行三大类：【0.1】官方的mysqlbinlog：支持数据库在线/离线，用脚本处理binlog的输出，转化成对应SQL再执行。通用性不好，对正则、sed等需要较高熟练度。【0.2】第三方的mysqlbinlog工具，比官方的工具多了一个闪回功能 -B【0.3】开源的binlog2sql：兼容性比较好，使用难度小，使用简单，前提是mysql必须开启。最佳实践：线上使用binlog2sql，线下用mysqlbinlog以及mysqlbinlog_flashbac...

mysql-5.7.17 binlog查询【代码】

因为有的时候会出现，突然哪个字段或者表格之类被删除，我们要了解到底什么内容，什么时候，是谁删的，那我们就可以从binlog日志中查找到你需要的内容1.binlog binlog就是二进制日志，它记录了数据库上的所有改变，并以二进制的形式保存在磁盘中；它可以用来查看数据库的变更历史、数据库增量备份和恢复、MySQL的复制（主从数据库的复制）。因为每一条被修改数据的sql都会记录在binlog中。 2.查看与配置binlog格式 (1)查看binlog...

mysqlbinlog 查看binlog日志时报错unknown variable 'default-character-set=utf8'【代码】

mysqlbinlog 查看binlog日志时报错unknown variable ‘default-character-set=utf8‘ 在通过全备文件和增量binlog文件来导出sql文件，用以恢复完整的数据库时。由于裸的binlog文件是无法直视的，所以使用mysqlbinlog这个工具是用来查看binlog文件内容的（使用方式man mysqlbinlog查看），但是使用mysqlbinlog将binlog文件转换成人类可读的内容时却报错：[root@server data]$ mysqlbinlog mysql-bin.000009 mysqlbinlog: ...

mysql binlog配置详解

关闭binlog，注释掉mysql配置文件中的log-bin=mysql-bin即可 baidu zone - 关闭binlog方法 cnblogs - linux下mysql配置文件my.cnf详解 ChinaUnix Blog - 设置自动清理mysql binlog日志和手动删除的方法 51cto - 删除庞大的MySQL binlog实操 csdn - 删除MySQL 的 binlog原文：http://www.cnblogs.com/svennee/p/4084474.html

binlog2sql mysql闪回【代码】【图】

环境搭建1、虚拟机配置请参考https://www.cnblogs.com/public-communion/p/14629113.html2、mysql 安装请参考https://www.cnblogs.com/public-communion/p/14629060.html3、git安装查看是否安装git# git --version 出现版本号，则说明已安装。如未安装，自行百度。4、pip安装# wget https://bootstrap.pypa.io/pip/2.7/get-pip.py # python get-pip.py # pip -V 如执行上述代码未安装成功，请看下面：执行第二段代码遇到截图的错误...

MySQL的两个日志redo log和 binlog

MySQL的修改创建，涉及到写的东西，他们都会涉及两个重要的日志模块，redo log（重做日志）和 binlog（归档日志）。redo log在 MySQL 里也有这个问题，如果每一次的写操作都需要写进磁盘，然后磁盘也要找到对应的那条记录，然后再更新，整个过程 IO 成本、查找成本都很高。为了解决这个问题，MySQL 的设计者使用了redo log日志 redo log是InnoDB 引擎所特有的，当有些动作时，会先把记录写到 redo log文件里面，这个时候更新就算完...

MySQL 8.0版本 binlog2sql 解析binlog【代码】【图】

概述 binlog2sql是一个Python开发开源的MySQL Binlog解析工具，能够将Binlog解析为原始的SQL，也支持将Binlog解析为回滚的SQL，去除主键的INSERT SQL，是DBA和运维人员数据恢复好帮手。一、安装配置1.1 用途数据快速回滚(闪回)主从切换后新master丢数据的修复从binlog生成标准SQL，带来的衍生功能支持MySQL5.6，5.71.2 安装shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sqlshell> pip install -r ...

MySQL——binlog【代码】

一、binlog简介：1、什么是binlog： binlog日志用于记录所有更新了数据或者已经潜在更新了数据（例如，没有匹配任何行的一个DELETE）的所有语句。语句以“事件”的形式保存，它描述数据更改。2、binlog的记录格式：Mysql binlog日志有三种格式，分别为：Statement ,MiXED ,和ROW；（在MySQL5.7.7版本之后，把binlog_format的默认值修改成了ROW。master将修改表的event写入binlog中，并且master将binlog信息发送到slave，slave重...

怎么查看mysql 的binlog日志存放的位置【图】

image.png这个你可以看配置文件启用了才有这样的记录默认是没有的 linux系统中的/etc/my.cnfmy.cnf内容：log-bin = mysqlbin # 默认配置一般放在/var/lib/mysql 比如上面的设置重启数据库会生成mysqlbin.000001文件自定义文件存放位置修改配置文件，vi /etc/my.cnf，找到log-bin的部分配置自动清理在my.cnf文件中，这个文件路径不知道的话执行mysql --help | grep ‘Default options‘ -A 1，就会列出文件的路径来image.png然后重...

MYSQL的mysqldump+binlog备份【图】

mysql是一个关系型数据库管理系统，由瑞典Mysql AB公司开发，目前属于Oracle旗下的产品。Mysql是最流行的关系型数据库之一，在web应用方面，Mysql是最好的RDBMS(Relational Database Management System，关系型数据库管理系统)应用软件。 MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型...

MySQL Binlog和Relaylog生成和清理

=====================================================================================binlog文件生成：在每条二进制日志写入到日志文件后，会判断该文件是否超过max_binlog_size，如果超过则生成一个新的binlog=====================================================================================binlog文件删除：1>当使用RESET MASTER命令后，会清空全部二进制日志命令：RESET MASTER;2>当执行PURGE MASTER LOG TO命令后...

解析MySQL binlog --（3）QUERY_EVENT【代码】【图】

mysql原理~binlog系列之~event浅谈

一将具体分析binlog中的常用event二 Row格式事件核心 ROW_LOG_EVENT+TABLE_MAP_EVENT+GTID_EVENT三 event生效机制在binlog cache中生效,然后刷新纪录写入binlog中四具体event 内容 0 FORMAT_DESCRIPTION_EVENT 1 PREVIOUS_GTIDS_LOG_EVENT 2 GTID_LOG_EVENT 3 TABLE_MAP_EVENT 4 ROW_LOG_EVENT 5 QUERY_EVENT () 6 XID_EVENT 7 ROTATE_EVNET 8 STOP_EVENT五详解 0 FORMAT_DESCRIPTION_EVENT ...

mysql的binlog安全删除【代码】【图】

1.手动清除binlog文件理论上，应该在配置文件/etc/my.cnf中加上binlog过期时间的配置项，expire_logs_days = 10.但是如果没有加这一项，随着产生越来越多的binlog，磁盘被吃掉了不少。可以直接删除binlog文件，但是可以通过mysql提供的工具来删除更安全。因为purge会更新mysql-bin.index中的条目，而直接删除的话，mysql-bin.index文件不会更新。mysql-bin.index的作用是加快查找binlog文件的速度。先help一下吧...

烂泥：通过binlog恢复mysql数据库【图】

本文由秀依林枫提供友情赞助，首发于烂泥行天下。在上一篇文章，我们讲解了有关mysql的binlog日志的基础知识。这篇文章，我们来讲解如何通过mysql的binlog日志来恢复数据库。在使用binlog日志来恢复数据库之前，我们有一些前提工作需要做。步骤如下：1、创建新的数据库ailanni2、创建新的表ilannitable3、向表ilannitable插入数据4、刷新mysqlbin日志5、完整备份ailanni数据库6、删除表ilannitable插入的部分数据7、删除数据库aila...

首页 / MYSQL / MySQL 8.0版本 binlog2sql 解析binlog

MySQL 8.0版本 binlog2sql 解析binlog

内容导读

内容图文

概述

一、安装配置

1.1 用途

1.2 安装

二、使用方法

2.1 使用前配置

2.1.1参数配置

2.1.2 user需要的最小权限集合

2.2 基本用法

2.2.1基本用法

2.2.2 选项

2.3 应用案例

2.3.1 误删整张表数据，需要紧急回滚

三、总结

3.1 限制（对比mysqlbinlog）

3.2 优点（对比mysqlbinlog）

内容总结

内容备注

内容手机端

【MySQL 8.0版本 binlog2sql 解析binlog】教程文章相关的互联网学习教程文章

版本 - 相关标签

解析 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程