python – 文件打开/阅读语言的速度是否依赖？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 文件打开/阅读语言的速度是否依赖？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1179字，纯文字阅读大概需要2分钟。

内容图文

我有很大的文件集合,我的任务是打开这个集合中的几个随机文件,将它们的内容视为一组整数,并将其作为交集.

由于长时间将文件从磁盘读入内存,这个过程非常慢,所以我想知道通过用一些“快速”语言重写我的程序是否可以加快从文件读取的过程.目前我正在使用python,这可能对这种工作效率低下. (如果我知道python和javascript旁边的其他一些语言,我可以自己实现测试…)

还会把所有日期都放到数据库帮助中吗？无论如何文件都不适合RAM,因此只有数据库相关的开销才能再次从磁盘读取.

文件内容是长整数列表. 90％的文件非常小,不到10-20MB,但剩下的10％大约是100-200mb.作为输入a有文件名,我需要读取每个文件并输出给定??的每个文件中的整数.
我试图将这些数据放在mongodb中,但这与基于普通文件的方法一样慢,因为我试图使用mongo索引功能,而mongo不会在RAM中存储索引.
现在我只删除了10％的最大文件,并在redis中存储休息,有时访问那些大文件.这显然是临时解决方案,因为我的数据增长并且可用的RAM数量不大.

解决方法:

您可以尝试的一件事是逐块计算文件的交叉点(即,从每个文件中读取x字节到内存中,计算它们的交叉点,然后继续,最后计算所有交叉点的交点).

或者,您可以考虑使用一些“重型”库来帮助您.考虑查看PyTables(使用HDF存储)/使用numpy计算交叉点.好处是HDF层应该有助于处理不能将整个阵列结构同时保存在内存中 – 尽管我之前没有尝试过这些工具,但它们似乎提供了你需要的东西.

内容总结

以上是互联网集市为您收集整理的python – 文件打开/阅读语言的速度是否依赖？全部内容，希望文章能够帮你解决python – 文件打开/阅读语言的速度是否依赖？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端