python – 循环性能下降

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 循环性能下降，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1417字，纯文字阅读大概需要3分钟。

内容图文

我有以下代码：

keywordindex = cPickle.load(open('keywordindex.p','rb'))#contains~340 thousand items
masterIndex = {}

indexes = [keywordindex]
for partialIndex in indexes:
    start = time.time()
    for key in partialIndex.iterkeys():
        if key not in masterIndex.keys():
            masterIndex[key]= partialIndex[key]
        elif key in masterIndex.keys():
            masterIndex[key].extend(partialIndex[key])
    cPickle.dump(masterIndex,open('MasterIndex.p','wb'))

    print int(time.time() - start), ' seconds'#every thousand loops

并且我在循环运行时遇到性能下降,前10万次大约需要5秒钟,但每10万左右需要一秒钟,直到它花费3倍的时间.我试图以各种可能的方式简化代码,但我似乎无法弄清楚导致它的原因.是否有一个原因？这不是内存问题,我的使用率仅为30％

解决方法:

这个块包含两个非常低效的编码实例：

    if key not in masterIndex.keys():
        masterIndex[key]= partialIndex[key]
    elif key in masterIndex.keys():
        masterIndex[key].extend(partialIndex[key])

首先,密钥在masterIndex中是否存在,因此对elif测试没有任何用处.如果未测试失败,则测试必须成功.所以这段代码也是这样的：

    if key not in masterIndex.keys():
        masterIndex[key]= partialIndex[key]
    else:
        masterIndex[key].extend(partialIndex[key])

其次,masterIndex是一个词典. Dicts支持非常有效的成员资格测试,无需你的任何帮助;-)通过将其密钥实现到一个列表(通过.keys()),你正在改变应该是一个快速的dict查找到一个可怕的慢速线性搜索列表.所以这样做：

    if key not in masterIndex:
        masterIndex[key]= partialIndex[key]
    else:
        masterIndex[key].extend(partialIndex[key])

代码将运行得更快.

内容总结

以上是互联网集市为您收集整理的python – 循环性能下降全部内容，希望文章能够帮你解决python – 循环性能下降所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端