【转载】mysql主键的缺少导致备库hang

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【转载】mysql主键的缺少导致备库hang，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8703字，纯文字阅读大概需要13分钟。

内容图文

mysql> update dmpush_message_temp set stat=1 ;
Query OK, 226651 rows affected (1.69 sec)
Rows matched: 226651 Changed: 226651 Warnings: 0
a.binlog中第一个出现的update事务日志：
mysqlbinlog -vvv /home/mysql/data3006/mysql/mysql-bin.000007 >/tmp/test.log

2281772 ### UPDATE qianyi.dmpush_message_temp
2281773 ### WHERE
2281774 ### @1=’fb5c72c9-0ac2-4800-93b2-b94dc9e1dd54′ /* VARSTRING(108) meta=108 nullable=1 is_null=0 */
2281775 ### @2=133 /* LONGINT meta=0 nullable=1 is_null=0 */
2281776 ### @3=’20121012220000′ /* VARSTRING(42) meta=42 nullable=1 is_null=0 */
2281777 ### @4=’0′ /* VARSTRING(24) meta=24 nullable=1 is_null=0 */
2281778 ### SET
2281779 ### @1=’fb5c72c9-0ac2-4800-93b2-b94dc9e1dd54′ /* VARSTRING(108) meta=108 nullable=1 is_null=0 */
2281780 ### @2=133 /* LONGINT meta=0 nullable=1 is_null=0 */
2281781 ### @3=’20121012220000′ /* VARSTRING(42) meta=42 nullable=1 is_null=0 */
2281782 ### @4=’1′ /* VARSTRING(24) meta=24 nullable=1 is_null=0 */

b.binlog中最后出现的update事务日志：
5313201 ### UPDATE qianyi.dmpush_message_temp
5313202 ### WHERE
5313203 ### @1=’fffff4fc-0b72-4ba2-9749-0189658af6d5′ /* VARSTRING(108) meta=108 nullable=1 is_null=0 */
5313204 ### @2=133 /* LONGINT meta=0 nullable=1 is_null=0 */
5313205 ### @3=’20121012220000′ /* VARSTRING(42) meta=42 nullable=1 is_null=0 */
5313206 ### @4=’0′ /* VARSTRING(24) meta=24 nullable=1 is_null=0 */
5313207 ### SET
5313208 ### @1=’fffff4fc-0b72-4ba2-9749-0189658af6d5′ /* VARSTRING(108) meta=108 nullable=1 is_null=0 */
5313209 ### @2=133 /* LONGINT meta=0 nullable=1 is_null=0 */
5313210 ### @3=’20121012220000′ /* VARSTRING(42) meta=42 nullable=1 is_null=0 */
5313211 ### @4=’1′ /* VARSTRING(24) meta=24 nullable=1 is_null=0 */
注意这里由于表中没有主键，所以导致了每一个事务条目的更新都是全表扫描，如果表中很很多的数据，则备库执行该更新的事务条目的时候，就会出现很多的全表扫描更新；

c.计算有多少事务条目：
root@xxxxxxxxx # cat /tmp/test.log|grep ‘UPDATE qianyi.dmpush_message_temp’ -A 10 |wc -l
2521492

mysql> select 2521492/11;—-11为一个update事务条目占用的行数
+————-+
| 2521492/11 |
+————-+
| 229226.5455 |
+————-+

mysql> use qianyi
Database changed
mysql> select count(*) from dmpush_message_temp;
+———-+
| count(*) |
+———-+
| 226651 |
+———-+
可以看到，binlog的条目数和该表的数据量查不多是一致，也就是在全表更新的时候(在row模式下)更新多少行，就有多少事务的事务条目；
2.为dmpush_message_temp表添加主键：
mysql> alter table dmpush_message_temp add column id int not null auto_increment,add PRIMARY Key(id);
Query OK, 226651 rows affected (1.09 sec)
Records: 226651 Duplicates: 0 Warnings: 0

mysql> update dmpush_message_temp set stat=0 ;
Query OK, 226651 rows affected (1.69 sec)
Rows matched: 226651 Changed: 226651 Warnings: 0

解析binlog中的事务条目：
root@xxxxxxxxx # mysqlbinlog -vvv /home/mysql/data3006/mysql/mysql-bin.000008 >/tmp/test1.log

### UPDATE qianyi.dmpush_message_temp
### WHERE
### @1=’fb5c72c9-0ac2-4800-93b2-b94dc9e1dd54′ /* VARSTRING(108) meta=108 nullable=1 is_null=0 */
### @2=133 /* LONGINT meta=0 nullable=1 is_null=0 */
### @3=’20121012220000′ /* VARSTRING(42) meta=42 nullable=1 is_null=0 */
### @4=’1′ /* VARSTRING(24) meta=24 nullable=1 is_null=0 */
### @5=1 /* INT meta=0 nullable=0 is_null=0 */
### UPDATE qianyi.dmpush_message_temp
### WHERE
### @1=’fb5bdc4f-da8a-4f03-aa5e-27677d7c8ac3′ /* VARSTRING(108) meta=108 nullable=1 is_null=0 */
### @2=133 /* LONGINT meta=0 nullable=1 is_null=0 */
### @3=’20121012220000′ /* VARSTRING(42) meta=42 nullable=1 is_null=0 */
### @4=’1′ /* VARSTRING(24) meta=24 nullable=1 is_null=0 */
### @5=2 /* INT meta=0 nullable=0 is_null=0 */
可以看到这里的事务条目中由于已经有了主键，也就是@5（第一个事务条目更新和第二个事务条目更新的@5是递增的，即主键）,这样事务日志就会根据主键来更新，备库执行则不会卡住；

解决：
问题的原因已经找到了，由于表中没有主键，ROW模式下，每删一条数据都会做全表扫，也就是说一条delete，如果删了10条，会做10次全表扫。。。。所以slave一直卡住；
1.slave:停止slave；
mysql> stop slave;
Ctrl-C — sending “KILL QUERY 59028” to server …
Ctrl-C — query aborted.
Ctrl-C — sending “KILL 59028” to server …
Ctrl-C — query aborted.
Ctrl-C — exit!
Aborted
2.这个时候，发现slave已经卡住，无法进行任何操作，这个时候只有强行kill掉mysql进程
root@xxxxxxxx.com # ps -ef|grep 3006
root 4456 1 0 Oct11 ? 00:00:00 /bin/sh /usr/bin/mysqld_safe –defaults-file=/etc/my3006.cnf
mysql 6828 4456 0 Oct11 ? 00:39:27 /usr/sbin/mysqld –defaults-file=/etc/my3006.cnf –basedir=/ –datadir=/home/mysql/data3006/dbs3006 –user=mysql –log-error=/home/mysql/data3006/mysql/master-error.log –open-files-limit=8192 –pid-file=/home/mysql/data3006/dbs3006/xxxxxxxx.com.pid –socket=/home/mysql/data3006/tmp/mysql.sock –port=3006

kill -9 4456 6828

由于我们的slave复制是在mysqld启动的时候自动启动，所以这里我们需要将其关闭：
vi /etc/my3006.cnf中加入：skip-slave-start，在用mysqld_safe启动；

2.由于主库的binlog已经传入备库，这个时候，slave执行没有主键更新的事务日志就会hang住，这个时候可以采取一种巧妙的方法来避过，就是将备库中的这张表进行数据清空，slave在执行realy log的时候，就会报1032错误，我们写一个脚本进行skip掉这些错误，当备库追赶上主库后，我们在把主库的表通过mysqldump，或者insert select 还原到备库，这样就可以让slave正常的运行起来，然后在通知客户进行主键的改造；
a。slave上执行以下命令：
slave:清空备库上有问题的表
set sql_log_bin=off;
truncate table qianyi.dmpush_message_temp;
start slave;

跳过该表上的错误：
sh /tmp/skip.sh 3006 dmpush_message_temp

b.等备库追上主库后，执行以下命令：
master：

lock tables qianyi.dmpush_message_temp read;

create table a2 like qianyi.dmpush_message_temp ;

lock tables a2 write, qianyi.dmpush_message_temp read;

insert into a2 select * from qianyi.dmpush_message_temp ;

slave:

set sql_log_bin=off;

drop table qianyi.dmpush_message_temp;

create table qianyi.dmpush_message_temp like a2;

insert into qianyi.dmpush_message_temp select * from a2;

c.最后让应用改造，添加上主键：
mysql> alter table dmpush_message_temp add column id int not null auto_increment,add PRIMARY Key(id);

3.当slave卡住的时候，可以通过解析binlog来看看，slave到底卡住在那里，是那个事务，下面是一个简单的方法，来看当前salve打开的表：
mysql> show open tables;
+———-+———————+——–+————-+
| Database | Table | In_use | Name_locked |
+———-+———————+——–+————-+
| qianyi | dmpush_message_temp | 1 | 0 |
| qianyi | test | 0 | 0 |
| qianyi | anson | 0 | 0 |
| mysql | db | 0 | 0 |
| mysql | slow_log | 0 | 0 |
| mysql | event | 0 | 0 |
+———-+———————+——–+————-+
可以看到这里dmpush_message_temp一直处于打开状态，这里就可以直接定位问题的根源了；

总结：主键对于innodb来说，是非常重要的，每张表的设计的时候，都应该把主键默认的加上，不管你需不需要他，而且主键的设计最好选择自增型的主键，这里也可以略提一下自增主键的好处：
a.自增型主键以利于插入性能的提高；
b.自增型主键设计(int,bigint)可以降低二级索引的空间，提升二级索引的内存命中率；
c.自增型的主键可以减小page的碎片，提升空间和内存的使用。

【转载】mysql主键的缺少导致备库hang

标签：

本文系统来源：http://www.cnblogs.com/conanwang/p/5848032.html

内容总结

以上是互联网集市为您收集整理的【转载】mysql主键的缺少导致备库hang全部内容，希望文章能够帮你解决【转载】mysql主键的缺少导致备库hang所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端