python – 多处理比Windows中的串行处理慢(但不是在Linux中)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 多处理比Windows中的串行处理慢(但不是在Linux中)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2614字，纯文字阅读大概需要4分钟。
内容图文
我正在尝试并行化for循环以加速我的代码,因为循环处理操作都是独立的.在线教程之后,似乎Python中的标准多处理库是一个良好的开端,我已经将其用于基本示例.
但是,对于我的实际用例,我发现在Windows上运行时,并行处理(使用双核机器)实际上有点(<5％)较慢.但是,与串行执行相比,在Linux上运行相同的代码可以使并行处理速度提高约25％. 从文档中,我认为这可能与Window缺少fork()函数有关,这意味着每次都需要初始化该过程.但是,我不完全理解这一点,并想知道是否有人可以确认这一点？ 尤其, – >这是否意味着调用python文件中的所有代码都会在Windows上为每个并行进程运行,甚至是初始化类和导入包？ – >如果是这样,可以通过某种方式将类的副本(例如使用deepcopy)传递到新进程中来避免这种情况吗？ – >是否有任何提示/其他策略可以有效地并行化unix和windows的代码设计. 我的确切代码很长并且使用了很多文件,所以我创建了一个pseucode风格的示例结构,希望能够显示问题.
# Imports
from my_package import MyClass
imports many other packages / functions
# Initialization (instantiate class and call slow functions that get it ready for processing)
my_class = Class()
my_class.set_up(input1=1, input2=2)
# Define main processing function to be used in loop
def calculation(_input_data):
# Perform some functions on _input_data
......
# Call method of instantiate class to act on data
return my_class.class_func(_input_data)
input_data = np.linspace(0, 1, 50)
output_data = np.zeros_like(input_data)
# For Loop (SERIAL implementation)
for i, x in enumerate(input_data):
output_data[i] = calculation(x)
# PARALLEL implementation (this doesn't work well!)
with multiprocessing.Pool(processes=4) as pool:
results = pool.map_async(calculation, input_data)
results.wait()
output_data = results.get()
编辑：我不相信这个问题与建议的问题重复,因为这与Windows和Linunx的差异有关,在建议的重复问题中根本没有提到.
解决方法:
NT操作系统缺少UNIX fork原语.创建新进程时,它将作为空白进程启动.父母负责指导新流程如何引导.
Python多处理API抽象了创建进程,试图给fork,forkserver和spawn start方法带来同样的感觉.
当你使用spawn启动方法时,这就是引擎盖下发生的事情.
>创建一个空白流程
>空白流程启动了一个全新的Python解释器
> Python解释器被赋予您通过Process类初始化程序指定的MFA(模块函数参数)
> Python解释器加载解析所有导入的给定模块
>在模块中查找目标函数,并使用给定的args和kwargs调用
上述流程带来的影响很小.
正如你所注意到的那样,与fork相比,这是一个更加繁重的操作.这就是你注意到性能差异的原因.
在子进程中从头开始导入模块时,将重新执行所有导入副作用.这意味着将再次执行常量,global variables,decorators和第一级指令.
另一方面,在父进程执行期间进行的初始化不会传播给子进程.见this例子.
这就是为什么在多处理文档中他们在Programming Guidelines中为Windows添加了一个特定的段落.我强烈建议阅读编程指南,因为它们已经包含了编写便携式多处理代码所需的所有信息.
内容总结
以上是互联网集市为您收集整理的python – 多处理比Windows中的串行处理慢(但不是在Linux中)全部内容，希望文章能够帮你解决python – 多处理比Windows中的串行处理慢(但不是在Linux中)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。