mysql中如何提高大表之间复制效率
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了mysql中如何提高大表之间复制效率,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1809字,纯文字阅读大概需要3分钟。
内容图文
目前有个日志总表logs_a,一周大概产生500W左右日志,按天分区,现在想把这个表中数据复制到另一表logs_b还是按天分,两表的结构不同。
我们使用下面这种方式做的拷贝:
现在问题是,这个sql要运行N久,也无法终止,问下有什么好的方法能够快速实现表数据复制没?
1、我觉得你可以分页导入啊,比如Insert into logs_b(…,…,…) Select …,…,… from logs_a Where log_date >= to_date(‘20120229’, ‘yyyymmdd’) limit 0,1000;
2、建议先select into outfile然后再load data infile
select a,b,c from oldtable into outfile ‘a.txt‘;
load data INFILE ‘a.txt‘ into table newtable (a,b,c ) ;
当从一个文本文件装载一个表时,使用load data infile。这通常比使用很多insert语句快几十倍。
load data infile 并不是先把数据 select 进来,load data infile 之前,可以先用 myisamchk --keys-used=0 -rq /path/to/db/tbl_name 从表中取消所有索引的使用。当导入完后 用myisamchk -r -q /path/to/db/tbl_name重新创建索引。这将在写入磁盘前在内存中创建索引树,并且它更快,因为避免了大量磁盘搜索。结果索引树也被完美地平衡。
3、我觉得你可以把数据库文件整体拷贝过去,然后在数据库访问量不是很大的时候,分批把不要的数据删除。
面我主要说下插入表可以增加速率的分享:
在myisam engine下
- 尽量使用insert into table_name values (...), (.....),(.....)这样形式插入数据,避免使用inset into table_name values (); inset into table_name values (); inset into table_name values ();
2 增加bulk_insert_buffer_size(默认8M)
3 如果是非空表,使用alter table table_name disable keys,然后load data infile,导入完数据在执行:
alter table table_name enable keys. 如果是空表,就不需要这个操作,因为myisam表在空表中导入数据时,是先导入数据然后建立indexs。
4 在插入数据时考虑使用:insert delayed....这样操作实际mysql把insert操作放到队列里面,进行相对集中的插入,速度更快。
- 使用load data infile 比使用insert 操作快近20倍,尽量使用此操作。
在innodb engine下
1.导入数据之前执行set unique_checks=0来禁止对唯一索引的检查,数据导入完成之后再运行set unique_checks=1.
2. 导入数据之前执行set foreign_key_checks=0来禁止对外键的检查,数据导入完成之后再执行set foreign_key_checks=1.
3.导入数据之前执行set autocommit=0禁止自动事务的自动提交,数据导入完成之后,执行set autocommit=1 恢复自动提交操作。
使用innodb engine的表,物理存储都是按PK的顺序存的。不能使用类似于myisam一样disable keys.
硬件上提高磁盘的I/0对插入速度很有好处(所以如果进行大数据量的导入导出工作,尽量在比较NB的硬件上进行,能缩减完成的时间,已经防止出现问题)。
原文:http://www.cnblogs.com/duanxz/p/3770228.html
内容总结
以上是互联网集市为您收集整理的mysql中如何提高大表之间复制效率全部内容,希望文章能够帮你解决mysql中如何提高大表之间复制效率所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。