python是否自动并行化IO和CPU或内存绑定部分？
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python是否自动并行化IO和CPU或内存绑定部分？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1271字，纯文字阅读大概需要2分钟。
内容图文
这是关于previous one的后续问题.
考虑一下这个代码,它比previous question中的代码少玩(但仍然比我真实的简单得多)
import sys
data=[]
for line in open(sys.argv[1]):
data.append(line[-1])
print data[-1]
现在,我期待更长的运行时间(我的基准文件长度为65150224行),可能更长.事实并非如此,它与以前一样在约2分钟内运行！
是data.append()非常轻量级？我不相信,因此我写了这个假代码来测试它：
data=[]
counter=0
string="a\n"
for counter in xrange(65150224):
data.append(string[-1])
print data[-1]
这运行时间为1.5到3分钟(运行之间存在很大的差异)
为什么我不能在前一个程序中获得3.5到5分钟？显然,data.append()与IO并行发生.
这是个好消息！
但它是如何工作的？它是一个记录的功能吗？我的代码是否有任何要求我应该遵循以使其尽可能地工作(除了负载平衡IO和内存/ CPU活动)？或者只是简单的缓冲/缓存？
再次,我在这个问题上标记了“linux”,因为我只对linux特定的答案感兴趣.如果您认为值得做,请随意提供与操作系统无关的内容,甚至是其他操作系统的答案.
解决方法:
Obviously data.append() is happening in parallel with the IO.
恐怕不是.可以在Python中并行化IO和计算,但它不会神奇地发生.
您可以做的一件事是使用posix_fadvise(2)为操作系统提供一个提示,即您计划按顺序读取文件(POSIX_FADV_SEQUENTIAL).
在600兆字节文件(ISO)上执行“wc -l”的一些粗略测试中,性能提高了约20％.清除磁盘缓存后立即完成每个测试.
对于fadvise的Python界面,请参阅python-fadvise.
内容总结
以上是互联网集市为您收集整理的python是否自动并行化IO和CPU或内存绑定部分？全部内容，希望文章能够帮你解决python是否自动并行化IO和CPU或内存绑定部分？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。