mysql主从一致性校验工具-pt

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了mysql主从一致性校验工具-pt，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7718字，纯文字阅读大概需要12分钟。

内容图文

一、环境

1、系统环境

2、软件环境

3、需要用到库

#本表格也可以自己创建，在使用pt工具的时候指定库表名字，详见下面的参数解释。

注意：自建库表测试尚未通过。

二、为什么要做主从一致性监测

1、主从复制是基于binlog的逻辑复制，难免出现复制数据不一致的风险

2、这个风险不但会引起用户数据访问前后不一致的风险

3、而且会导致后续复制出现1032、1062错误进而引起复制架构停滞的隐患

4、为了及时发现并解决这个问题

5、我们需要定期或不定期地开展主从复制数据一致性的校验和修复工作

三、主从一致性监测原理

四、pt工具监测

用到的命令：

1、pt-table-check       #监测主从一致

2、pt-table-sync         #修复主从一致

mysql主从一致性校验，基于pt工具进行。

#限制及问题

1、在检查阶段，超过1000行的数据，如果没有设定索引或者主键，则报错，该表会跳过检查。

2、在修复阶段，如果表没有设置主键或索引，则修复报错，可以手动进行修复。

3、监测是基于块进行的，如果mysql表的数据没有进行分块，那么当表过大时，会造成监测一段时间后发现没有问题会跳过改表。

4、当数据库两个数据不一致，但是checksum检测一致时，没有比对出不一致。

主库和从库账号一致，密码不一致发现了这种问题。

原因：对于修改密码的操作，chencksum的值并没有发生变化。

五、安装pt工具

最好所有主库从库都安装

1、安装依赖

yum install perl-IO-Socket-SSL perl-DBD-MySQL perl-Time-HiRes perl perl-DBI -y

yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker -y

2、下载安装包

1、官网下载

3、安装

 tar xzvf percona-toolkit-3.0.4_x86_64.tar.gz

 cd percona-toolkit-3.0.4

perl Makefile.PL   --安装到非默认路径PREFIX=${HOME}

 make

 make test

 make install

六、pt工具常用命令

1、创建监测账号

grant all on *.*  to   ‘zxfly_check‘@‘192.168.22.% ‘ identified by ‘zxfly‘;

flush privileges;

2、监控用的表为：percona.checksum该表会自动创建。

监测：

#指定库名

pt-table-checksum --databases zxfly -u‘zxfly‘ -p‘zxfly‘ -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log

#不指定库，监测所有数据库（除information_schema、percona、performance_schema库）

pt-table-checksum --quiet -u‘zxfly‘ -p‘zxfly‘ -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log

pt-table-checksum --replicate-check-only -u‘zxfly‘ -p‘zxfly‘ -hMasterIP -P3306

打印修复sql：指定库表

pt-table-sync  --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --print 

修复：

pt-table-sync  --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --exec

七、pt工具常用参数

1、pt-table-checksum

dsn库表结构及用法为：

1. CREATE TABLE `dsns` ( `id` int(11) NOT NULL AUTO_INCREMENT, `parent_id` int(11) DEFAULT NULL, `dsn` varchar(255) NOT NULL, PRIMARY KEY (`id`) );
2. -- 写入从库信息
3.  INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host,u=checksums,p=password,P=3306"); 
4. -- 如果有多个从库,就插入多条记录. 
5. -- 也可以按如下简写
6. INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host");

2、pt-table-sync

3、输出信息解释

TS ：完成检查的时间。
ERRORS ：检查时候发生错误和警告的数量。
DIFFS ：0表示一致，1表示不一致。当指定--no-replicate-check时，会一直为0，当指定--replicate-check-only会显示不同的信息。
ROWS ：表的行数。
CHUNKS ：被划分到表中的块的数目。
SKIPPED ：由于错误或警告或过大，则跳过块的数目。
TIME ：执行的时间。
TABLE ：被检查的表名。

八、pt工具常见报错信息

1、监测报错（找不到从库，使用--recursion-method指定模式）

Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information.

2、binlog模式问题（由于指定为row行复制造成 使用--no-check-binlog-format跳过监测，不过这样有可能监测不出来主从不一致的信息，row行模式对于主从来说不需要进行主从监测）

Replica centos-1 has binlog_format ROW which could cause pt-table-checksum to break replication. Please read "Replicas using row-based replication" in the LIMITATIONS section of the tool‘s documentation.  If you understand the risks, specify --no-check-binlog-format to disable this check.

3、没有索引或主键导致的，在数据较少的时候（低于1000行，没有测试出该信息，超过1000行会报错）

Cannot checksum table test.t: There is no good index and the table is oversized. at ./pt-table-checksum line 6370.

4、等待信息，已检测的百分比，这是因为设置了主键但是没有索引导致没有分块且表过大造成。

Checksumming database.table:  27% 01:17 remain

九、对多个库所有数据进行监测结果

pt-table-checksum监测数据库结果：

十、pt修复工具pt-table-sync遇到的问题

在使用pt-table-checksum进行检测后，发现主从不一致的情况后可以使用pt-table-sync工具进行修复操作。

其原理为：基于pt-table-checksum监测的结果进行检查并生成修复语句去修复从库中的数据。

遇到的报错：

1、修复时候没有任何提示，但是修复报错。使用–print打印修复语句发现又乱码。

处理方法：查看表的字符集，通过--charset=命令指定默认字符集

2、报错：Failed to prepare TableSyncChunk plugin: Cannot chunk table `zxfly_zxfly1`.`mongo_task_data` using the character column guid, most likely because all values start with the same character. This table must be synced separately by specifying a list of --algorithms without the Chunk algorithm at /usr/local/bin/pt-table-sync line 4088.  while doing table on 192.168.0.177

原因是在默认的算法中，要保证主键字段的数据前一位有不一样字符出现，而该表的主键数据第一个字符是一样的。

解决办法：

使用--algorithms=参数指定算法，当然这种应该最好分库分表进行恢复。

6、修复报错（原因：没有唯一索引或主键导致的，1000以内的，1000行以上没有索引或主键在监测时就会跳过。）

Can‘t make changes on the master because no unique index exists at /usr/local/bin/pt-table-sync line 10591.

mysql主从一致性校验工具-pt

标签：download   while   逻辑   res   算法   ons   wrap   cannot   需要   

本文系统来源：http://www.cnblogs.com/feiren/p/7777218.html

内容总结

以上是互联网集市为您收集整理的mysql主从一致性校验工具-pt全部内容，希望文章能够帮你解决mysql主从一致性校验工具-pt所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端