Mysql修改表结构工具OnlineSchemaChange使用心得
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Mysql修改表结构工具OnlineSchemaChange使用心得，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3320字，纯文字阅读大概需要5分钟。
内容图文
OnlineSchemaChange是Facebook开源的在线修改表结构的工具，具体原理这里不多说了，有兴趣的同学可以看下官方文档:https://github.com/facebookincubator/OnlineSchemaChange/wiki
这里主要介绍下在迁移的时候使用的情况，首先官网的OSC工具不支持主从同步，当时测试是在单库上进行测试，而生产环境是有主从的，结果在主库上直接运行了OSC，可以看到如下的输出：
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023449545.jpg" title="1.png" />可以看到主库运行基本正常，表结构也正常修改了，并没有锁表影响到线上正常业务
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023449866.jpg" title="2.png" />发现主从不一致后的排查：
查看binlog事件，看具体是哪个事务导致的主从不一致
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023450262.jpg" title="3.png" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023450690.jpg" title="4.png" />对binlog同步出错的事务sql进行反复的查看及核对
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023451051.jpg" title="5.png" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023451472.jpg" title="9.png" />根据从库的状态可以判断出是__osc_chg_orders是这个临时表不存在导致无法同步
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023451818.jpg" title="10.png" />随后找到网上说跳过错误事务就可以恢复同步，进行了
slave stop; SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1; slave start; show slave status\G
进行跳过一个错误事务后再次查看，发现每次都卡在没有这个__osc_chg_orders临时表
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023452224.jpg" title="11.png" />
网上查询到可以忽略某些表的同步，在从库上可以忽略某些表的同步，在主库binlog中有大量的临时表事务，开始我们手动一条一条的跳过，发现并不可行，手动执行50次后发现__osc_chg_orders临时表的数据可能跟原表的数据量一样大，也就是1千万条，这样我们难道要跳过1千万个事务，如果直接跳过1kw也事务，也不行，因为这里面还有在上线正常执行的事务，这里发现可以忽略这个表同步，在从库中设置忽略就是会跳过binlog中关于__osc_chg_orders临时表的事务，但是binlog还会记录，如果在主库中忽略就是直接不记录binlog，从库自然就无法同步到，这里采用从库忽略binlog中这个__osc_chg_orders临时表，修改配置文件:
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023452524.jpg" title="12.png" />忽略后发现可以跳过所有__osc_chg_orders临时表相关的错误事务，但是还会出现错误代码1032的事务，随后按照这种思路进行查找，自己遇到的问题别人可能事先都已经遇到了，查找后发现有忽略错误代码的配置：
忽略后出现1032的报错，在修改忽略1032的报错，问题解决，同步正常
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023452706.jpg" title="13.png" />参考跳过错误代码：
650) this.width=650;" src="/upload/getfiles/default/2022/11/7/20221107023452902.jpg" title="14.png" />最后只能手动修改从库的表结构，主从同步恢复正常，至此问题解决，然后对照主库的binlog事务在从库中进行查询，正常的insert binlog事务，在从库中可以查询到，说明binlog中的正常事务是被同步正常，只是跳过了错误事务，保证了主从之间的数据一致性
从库修改简单总结如下：
1、采用跳过单个事务的办法，发现错误事务太多，中间又混杂着正确的事务，导致无法一次性跳过所有的错误事务
2、采用忽略特性错误事务的同步，发现所有有问题事物都是因为同步一张临时表而导致的，只需要跳过这个临时表，这样就能跳过大部分的错误事务，正常执行的事务也不会被影响，同样会被同步
3、采用忽略同步错误代码来实现，直接跳过同错误代码的事务，恢复同步
4、比对主库binlog中正常事务是否在从库执行，查询在主库binlog中的正常insert事务，在从库中进行select对应插入数据，可以查询到，说明其中的正常事务通过binlog同步到从库成功，至此解决了主从不同步的问题！
--------------------- osc bug解决 ----------------------------------------
这里要注意一点就是binlog要使用ROW模式
1.解决了不支持ip+port的模式，官网只支持socket的方式，也就是只能在本地数据库运行，但目前大多都是云数据库，所以只有socket连接方式不能满足目前的需求，修改源码后支持了host+port的方式
2.解决主从不一致的问题，官网只支持单库的情况，也就是主从的情况只会修改主库的表结构，并不会修改从库的表结构，原因是在每次修改前OSC都会将数据库的binlog关闭，导致生成的临时表无法通过binlog同步到从库，修改源码让其不关闭binlog，解决了主从不同步的问题
PS：官网这么做可能考虑到写binlog性能会下降，的确如此，但是对于目前云库的性能来说基本没有影响，可以正常的修改表结构，测试1千万的表修改表结构也就10分钟左右，效率很高，而且不会影响线上业务的持续运行
官方GitHub OSC： https://github.com/facebookincubator/OnlineSchemaChange
改良后的git地址: https://github.com/lxshopping/OnlineSchemaChange
本文出自 “运维之道” 博客，请务必保留此出处http://lxshopping.blog.51cto.com/4542643/1958935
原文：http://lxshopping.blog.51cto.com/4542643/1958935
内容总结
以上是互联网集市为您收集整理的Mysql修改表结构工具OnlineSchemaChange使用心得全部内容，希望文章能够帮你解决Mysql修改表结构工具OnlineSchemaChange使用心得所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。