使用python多处理功能与函数共享信号量

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用python多处理功能与函数共享信号量，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1151字，纯文字阅读大概需要2分钟。

内容图文

我想通过将信号量传递给函数来同步对python multiprocessing.Pool中多个worker的共享资源的访问.这是一些伪代码.

def do_work(payload, semaphore):
    with semaphore:
        access_the_shared_resource(payload)

函数do_work在库中定义,这样我就无法在本地范围内定义函数可以继承的信号量.我也不能使用functools.partial传递信号量,因为多处理试图腌制不允许的信号量.似乎有用的是使用multiprocessing.Manager来创建信号量的代理：

manager = multiprocessing.Manager()
semaphore = manager.Semaphore()

with multiprocessing.Pool() as pool:
    results = pool.map(functools.partial(do_work, semaphore=semaphore), payloads)

这是最好的方法还是我错过了明显的解决方案？

解决方法:

您唯一的另一个选择是使用初始化程序和initargs在池创建时将常规多处理.Semaphore传递给每个工作进程,并将其用作全局变量：

semaphore = None
def do_work(payload):
    with semaphore:
        return payload

def init(sem):
    global semaphore
    semaphore = sem

if __name__ == "__main__":
    sem = multiprocessing.Semaphore()
    with multiprocessing.Pool(initializer=init, initargs=(sem,)) as p:
        results = p.map(do_work, payloads)

您在父项中定义的全局信号量变量将设置为每个子进程中的multiprocessing.Semaphore().

使用manager.Semaphore()很好,虽然它确实需要产生额外的Python进程.

内容总结

以上是互联网集市为您收集整理的使用python多处理功能与函数共享信号量全部内容，希望文章能够帮你解决使用python多处理功能与函数共享信号量所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端