在Python 2.7中使用多个参数进行多处理以实现功能

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在Python 2.7中使用多个参数进行多处理以实现功能，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1598字，纯文字阅读大概需要3分钟。

内容图文

我正在尝试实现多处理来加速复制循环,但无法让它在Python27中运行.这是我的程序的一个非常简化的版本,基于SO的文档和其他答案(例如Python multiprocessing pool.map for multiple arguments).我意识到有很多关于多处理的问题,但到目前为止我还没能解决这个问题.希望我没有忽视任何过于微不足道的事情.

码

import itertools
from multiprocessing import Pool

def func(g, h, i):
    return g + h + i

def helper(args):
    args2 = args[0] + (args[1],)
    return func(*args2)

pool = Pool(processes=4)
result = pool.map(helper, itertools.izip(itertools.repeat((2, 3)), range(20)))
print result

这在使用map(…)时有效,但在使用pool.map(…)时则无效.

错误信息：

Process PoolWorker-3:
Traceback (most recent call last):
File "C:\Program_\EPD_python27\lib\multiprocessing\process.py", line 258, in _
bootstrap
self.run()
File "C:\Program_\EPD_python27\lib\multiprocessing\process.py", line 114, in run
self._target(*self._args, **self._kwargs)
File "C:\Program_\EPD_python27\lib\multiprocessing\pool.py", line 85, in worker
task = get()
File "C:\Program_\EPD_python27\lib\multiprocessing\queues.py", line 376, in get
return recv()
AttributeError: 'module' object has no attribute 'helper'

解决方法:

通过添加main()函数解决了这个问题：

import itertools
from multiprocessing import Pool

def func(g, h, i):
    return g + h + i

def helper(args):
    args2 = args[0] + (args[1],)
    return func(*args2)

def main():
    pool = Pool(processes=4)
    result = pool.map(helper,itertools.izip(itertools.repeat((2, 3)), range(10)))
    print result

if __name__ == '__main__':
    main()

根据@ErikAllik的回答,我认为这可能是Windows特有的问题.

编辑：这是一个清晰,信息丰富的tutorial on multiprocessing在python中.

内容总结

以上是互联网集市为您收集整理的在Python 2.7中使用多个参数进行多处理以实现功能全部内容，希望文章能够帮你解决在Python 2.7中使用多个参数进行多处理以实现功能所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端