使用Python经常更新数值实验的存储数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用Python经常更新数值实验的存储数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1171字，纯文字阅读大概需要2分钟。

内容图文

我正在进行一项需要多次迭代的数值实验.在每次迭代之后,我想将数据存储在pickle文件或类似pickle的文件中,以防程序超时或数据结构被点击.什么是最好的方法.这是骨架代码：

data_dict = {}                       # maybe a dictionary is not the best choice
for j in parameters:                 # j = (alpha, beta, gamma) and cycle through
    for k in number_of_experiments:  # lots of experiments (10^4)
        file = open('storage.pkl', 'ab')
        data = experiment()          # experiment returns some numerical value
                                     # experiment takes ~ 1 seconds, but increase
                                     # as parameters scale
        data_dict.setdefault(j, []).append(data)
        pickle.dump(data_dict, file)
        file.close()

问题：

>在这里搁置更好的选择吗？还是其他一些我不知道的python库？
>我正在使用数据字典,因为如果我需要在进行更多实验时更改内容,则编码更容易,更灵活.使用预先分配的数组会是一个巨大的优势吗？
>打开和关闭文件是否会影响运行时间？我这样做,以便除了我设置的文本日志之外,我还可以查看进度.

谢谢你的帮助！

解决方法:

>假设您使用numpy进行数值实验,而不是pickle,我建议使用numpy.savez.
>保持简单,只有在您认为脚本运行时间过长时才进行优化.
>打开和关闭文件确实会影响运行时间,但无论如何都要更好地进行备份.

我会使用collections.defaultdict(list)而不是plain dict和setdefault.

内容总结

以上是互联网集市为您收集整理的使用Python经常更新数值实验的存储数据全部内容，希望文章能够帮你解决使用Python经常更新数值实验的存储数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端