在Python中查询速度慢但在其他地方快速查询
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了在Python中查询速度慢但在其他地方快速查询，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4269字，纯文字阅读大概需要7分钟。
内容图文
我有一个heckuva时间来处理Python中缓慢的MySQL查询.在我的应用程序的一个方面,“加载数据infile”很快.在另一个区域中,选择查询非常慢.
在PhpMyAdmin和Navicat中执行相同的查询(作为第二个测试)产生的响应比Python快?5倍.
几点说明……
>我切换到MySQLdb作为连接器,我也使用SSCursor.没有性能提升.
>数据库已优化,索引等.我正在从PHP / Codeigniter将此应用程序移植到Python,它运行正常(我愚蠢地认为退出PHP将有助于加快速度)
> PHP / Codeigniter快速执行选择查询.例如,应用程序的一个关键方面在PHP / Codeigniter中需要大约2秒,但在完成任何数据分析之前,在Python中花费10秒.
我对数据库的链接相当标准……
dbconn=MySQLdb.connect(host="127.0.0.1",user="*",passwd="*",db="*", cursorclass = MySQLdb.cursors.SSCursor)
任何见解/帮助/建议将不胜感激！
UPDATE
在获取/处理结果方面,我尝试了几种方法.初始查询相当标准……
# Run Query
cursor.execute(query)
我删除了这个循环中的所有代码只是为了确保它不是案例瓶颈,而事实并非如此.我把虚拟代码放在了原位.整个过程根本没有加速.
db_results = "test"
# Loop Results
for row in cursor:
a = 0 (this was the dummy code I put in to test)
return db_results
查询结果本身只有501行(大量列)…在Python之外花了0.029秒.比Python中的时间长得多.
该项目与赛马有关.查询在此函数中完成.查询本身很长,但它在Python之外运行良好.我在循环中注释掉了用于测试的代码……还有打印(查询),希望能够搞清楚这一点.
# Get PPs
def get_pps(race_ids):
# Comma Race List
race_list = ','.join(map(str, race_ids))
# PPs Query
query = ("SELECT raceindex.race_id, entries.entry_id, entries.prognum, runlines.line_id, runlines.track_code, runlines.race_date, runlines.race_number, runlines.horse_name, runlines.line_date, runlines.line_track, runlines.line_race, runlines.surface, runlines.distance, runlines.starters, runlines.race_grade, runlines.post_position, runlines.c1pos, runlines.c1posn, runlines.c1len, runlines.c2pos, runlines.c2posn, runlines.c2len, runlines.c3pos, runlines.c3posn, runlines.c3len, runlines.c4pos, runlines.c4posn, runlines.c4len, runlines.c5pos, runlines.c5posn, runlines.c5len, runlines.finpos, runlines.finposn, runlines.finlen, runlines.dq, runlines.dh, runlines.dqplace, runlines.beyer, runlines.weight, runlines.comment, runlines.long_comment, runlines.odds, runlines.odds_position, runlines.entries, runlines.track_variant, runlines.speed_rating, runlines.sealed_track, runlines.frac1, runlines.frac2, runlines.frac3, runlines.frac4, runlines.frac5, runlines.frac6, runlines.final_time, charts.raceshape "
"FROM hrdb_raceindex raceindex "
"INNER JOIN hrdb_runlines runlines ON runlines.race_date = raceindex.race_date AND runlines.track_code = raceindex.track_code AND runlines.race_number = raceindex.race_number "
"INNER JOIN hrdb_entries entries ON entries.race_date=runlines.race_date AND entries.track_code=runlines.track_code AND entries.race_number=runlines.race_number AND entries.horse_name=runlines.horse_name "
"LEFT JOIN hrdb_charts charts ON runlines.line_date = charts.race_date AND runlines.line_track = charts.track_code AND runlines.line_race = charts.race_number "
"WHERE raceindex.race_id IN (" + race_list + ") "
"ORDER BY runlines.line_date DESC;")
print(query)
# Run Query
cursor.execute(query)
# Query Fields
fields = [i[0] for i in cursor.description]
# PPs List
pps = []
# Loop Results
for row in cursor:
a = 0
#this_pp = {}
#for i, value in enumerate(row):
# this_pp[fields[i]] = value
#pps.append(this_pp)
return pps
最后一点说明……我没有考虑过处理结果的理想方法.我相信一个游标允许结果作为一组字典返回.我还没有达到这一点,因为查询和返回本身是如此之慢.
解决方法:
你只有501行,看起来你有超过50列.从MySQL传递到Python的总数据量是多少？
501行x 55列=返回27,555个单元格.
如果每个单元平均“仅”1K,那么将返回接近27MB的数据.
要了解mysql推送的数据量,您可以将其添加到查询中：
SHOW SESSION STATUS LIKE "bytes_sent"
你的服务器资源充足吗？内存分配是否配置良好？
我的猜测是,当您使用PHPMyAdmin时,您将获得分页结果.这掩盖了MySQL返回的数据超出服务器可以处理的问题(我不使用Navicat,不确定返回结果的方式).
也许Python进程受内存限制,当面对这个大的结果集时,它必须向外输出到磁盘来处理结果集.
如果减少调用和/或约束的列数,比如在查询中使用LIMIT 10可以提高速度吗？
在调用此查询时,您能看到运行Python的服务器是否正在分页到磁盘吗？你能看到为Python分配了什么内存,在这个过程中使用了多少,以及这个分配和使用与PHP版本中的相同值相比如何？
您可以为受约束的资源分配更多内存吗？
您可以减少通过分页或异步加载调用的列数或行数吗？
内容总结
以上是互联网集市为您收集整理的在Python中查询速度慢但在其他地方快速查询全部内容，希望文章能够帮你解决在Python中查询速度慢但在其他地方快速查询所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。