mysqlupdate数据过大,连接断开
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了mysqlupdate数据过大,连接断开,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2610字,纯文字阅读大概需要4分钟。
内容图文
有一个2万条的数据源,现在逐条输出 update 另外一个数据表(远程API)的值,由于数据量过大,经常被远程服务器断开或本网页显示 500内部错误,请教一下大师,有什么办法可以优化一下,是否可以分批次更新,请求给一个指导,谢谢
回复讨论(解决方案)
我现在的办法是用for 循环 limit分批 mysql_query() 还是不行,请求指导
经过测试不是数据访问慢,是对方API 响应慢,服务器 直接给断开链接了,直接显示 请问有什么办法可以处理响应超时的
set_time_limit(0);
是你生成sql,然后提交到api,然后api执行的提交的sql?
如果这样,建议你把要执行的sql写在一个文件中,然后提交时把文件提交过去。
API那边接受到文件后,依此执行文件内sql语句即可。
如果结构不能修改,那只能一条条提交,成功返回再提交下一条。因为有可能是API那边连接数有限制了。
是你生成sql,然后提交到api,然后api执行的提交的sql?
如果这样,建议你把要执行的sql写在一个文件中,然后提交时把文件提交过去。
API那边接受到文件后,依此执行文件内sql语句即可。
如果结构不能修改,那只能一条条提交,成功返回再提交下一条。因为有可能是API那边连接数有限制了。
我现在就是把调用 API 这个给放到单独的文件里,一步步调用
我的数据有2万来条,我算过,调用 API 100条需要 30秒 正常反应时间是6000秒,这样主程序早把我给踢出了,提错,有什么办法处理这个问题吗,谢谢版主
为什么调用100条需要30秒呢?你的sql不能优化么?
是你生成sql,然后提交到api,然后api执行的提交的sql?
如果这样,建议你把要执行的sql写在一个文件中,然后提交时把文件提交过去。
API那边接受到文件后,依此执行文件内sql语句即可。
如果结构不能修改,那只能一条条提交,成功返回再提交下一条。因为有可能是API那边连接数有限制了。
我现在就是把调用 API 这个给放到单独的文件里,一步步调用
我的数据有2万来条,我算过,调用 API 100条需要 30秒 正常反应时间是6000秒,这样主程序早把我给踢出了,提错,有什么办法处理这个问题吗,谢谢版主 写错了,是1000条 我还不包括对方网络延迟等因素
按1000条100秒,运行2万条也需要的时间不断,这么久的运行,万网那边就会报错,有什么办法可以分开,一批批的执行吗
开启多个进程处理
我的数据有2万来条,我算过,调用 API 100条需要 30秒 正常反应时间是6000秒,这样主程序早把我给踢出了
因为你执行的是 update,所以你在 SQL 上没有优化的可能(何况还是调用 API 进行)
但 2万条数据是不应通过网站传送的(update 一次只能一条),你可以通过 CLI 方式的程序来操作
用命令行执行
我的数据有2万来条,我算过,调用 API 100条需要 30秒 正常反应时间是6000秒,这样主程序早把我给踢出了
因为你执行的是 update,所以你在 SQL 上没有优化的可能(何况还是调用 API 进行)
但 2万条数据是不应通过网站传送的(update 一次只能一条),你可以通过 CLI 方式的程序来操作
我的是阿里的虚拟主机,这个是运行环境PHP5.5
内容总结
以上是互联网集市为您收集整理的mysqlupdate数据过大,连接断开全部内容,希望文章能够帮你解决mysqlupdate数据过大,连接断开所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。