首页 / MYSQL / MySQL快速插入/更新大量记录
MySQL快速插入/更新大量记录
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了MySQL快速插入/更新大量记录,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1801字,纯文字阅读大概需要3分钟。
内容图文
![MySQL快速插入/更新大量记录](/upload/InfoBanner/zyjiaocheng/548/cd3b6b612c7045d297bab147627d5e2f.jpg)
最近的项目中需要将几个dump文件(文本格式、1~2G)的记录导入到mysql数据库中,由于数据量比较大(几百万、上千万条记录),有插
最近的项目中需要将几个dump文件(文本格式、1~2G)的记录导入到mysql数据库中,由于数据量比较大(几百万、上千万条记录),有插入记录,也有更新记录的,导致插入\更新速度比较慢。
一开始,将单条sql语句交给mysql执行,测试下来,最快一次也要一个半小时。于是想办法改进之。
(1)针对插入记录,使用sql语句一次插入多条记录。实例:
INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);
具体参见sql语法:
在程序中,使用循环拼接sql语句,然后一次性丢给myql_query()处理即可。
需要注意的是,sql语句不是越长越好,太长了可能会超出mysql限制(听同事介绍,mysql的限制是63M)。
我在实测中,我限制sql长度在10M:
for(...)
{
m_strSQL += ...;
if (m_strSQL.length() > 10485760) //10M
{
m_pMysqlStatement->execute(m_strSQL.substr(0, m_strSQL.length() - 1));
m_strSQL= "INSERT INTO location (locationid, name, alternatename) VALUES ";
}
}
测试结果为:
8267787条记录,耗时754秒(数据库在局域网内的不同机器上),基本满足要求。
(2)对于更新记录,由于update语法不支持一次更新多条记录,无法使用类似“INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);”的形式进行更新,,只能拼接多条sql语句一起更新:
update location set languages = 'zh' where locationid = '12344';update location set postalcode = '14343' where locationid = '3455';
但是这样一来,问题出现了:
(I)在连接数据库时需要启用multi-query支持,允许一次执行多条sql语句。参见:
(II)还需要处理resultset的释放问题,否则mysql会报错:"Commands out of sync; you can't run this command now"
(III)针对update语句,虽然并没有resultset返回,但仍然需要释放。而由于未知原因(可能是sql语句太长?),释放resultset非常耗时,最终算下来得不偿失。
内容总结
以上是互联网集市为您收集整理的MySQL快速插入/更新大量记录全部内容,希望文章能够帮你解决MySQL快速插入/更新大量记录所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。