python 之并发编程更新版进程池与进程池比较与回调函数

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python 之并发编程更新版进程池与进程池比较与回调函数，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3269字，纯文字阅读大概需要5分钟。

内容图文

一.更新版进程池与进程池比较

from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
import os, time

def func(i):
    print('Process', i, os.getpid())
    time.sleep(0.1)
    print("Process..end")
    return 88899

# (1)ProcessPoolExcutor 进程池的基本使用(改良版)

相对于旧版的进程池,

一定会等待子进程全部执行完毕之后,再终止程序,相当于过去的Process流程

shutdown 相当于Process里面的join

if __name__ == "__main__":
    # (1)ProcessPoolExecutor() <==> Pool()
    p = ProcessPoolExecutor(5)
    # (2)submit() <==> apply_async()
    res = p.submit(func, 55)
    # (3)result() <==> get()
    res = res.result()
    print(res) #
    # (4)shutdown <==> close + join
    #p.shutdown()
    print("主进程执行结束...")

# (2)线程池

from threading import current_thread as ct
def func(i):
    print("thread",i,ct().ident)
    time.sleep(0.1)
    print("thread %s end" % (i))

#可以在参数中指定并发的线程数
tp = ThreadPoolExecutor(10)
for i in range(20):
    tp.submit(func,i)
#tp.shutdown()
print("主线程执行结束...")

# (3)线程池的返回值

from threading import current_thread as cthread

def func(i):
    print("thread", i, cthread().ident)
    # 加延迟防止个别线程因为执行速度过快,又接收任务,阻碍新线程的创建
    # time.sleep(0.1)
    print("threading %s end" % (i))
    # return "*" * i
    return cthread().ident


tp = ThreadPoolExecutor()
lst = []
setvar = set()
for i in range(10):
    res = tp.submit(func,i)
    lst.append(res)

for i in lst:
    # print(i.result())
    setvar.add(i.result())
print(setvar,len(setvar))
print("主线程执行结束...")

# (4)map 返回迭代器

from threading import current_thread as cthread
def func(i):
    print("threading",i,cthread().ident)
    time.sleep(0.1)
    print("thread %s end" % (i))
    return "*" * i

tp = ThreadPoolExecutor(5)
it = tp.map(func,range(20)) # map
from collections import Iterable,Iterator
print(isinstance(it,Iterator))
for i in it:
    print(i)

tp.shutdown()
print("主线程执行结束..")

二.回调函数

回调函数:

    把函数当成参数传递的另外一个函数

    函数先执行,最后在执行当参数传递的这个函数,整个过程是回调,这个参数是回调函数

# (1) 线程池的回调函数是由 子线程完成

from concurrent.futures import  ThreadPoolExecutor
from threading import current_thread as cthread

import time
def func(i):
    print("thread",i,cthread().ident)
    time.sleep(0.1)
    print("thread %s end" % (i))
    return "*" * i

# 定义成回调函数
def call_back(args):
    print("call back:",cthread().ident)
    print(args.result())

tp = ThreadPoolExecutor(5)
for i in range(1,11):
    # submit(函数,参数).add_done_callback(要添加的回调函数)
    tp.submit(func,i).add_done_callback(call_back)
    
tp.shutdown()
print("主线程:",cthread().ident)

# (2) 进程池的回调函数是由 主进程完成

from concurrent.futures import ProcessPoolExecutor
import os,time
def func(i):
    print("Process",i,os.getpid())
    time.sleep(0.1)
    print("Process %s end" % (i))

if __name__ == "__main__":
    p = ProcessPoolExecutor(5)
    p.submit(func,11)
    p.shutdown()
    print("主进程:",os.getpid())

例2：

from concurrent.futures import ProcessPoolExecutor
import os,time
def func(i):
    print("Process",i,os.getpid())
    time.sleep(0.1)
    print("Process %s end" % (i))
    return i * "*"

# 回调函数
def call_back(args):
    print("call back:",os.getpid())
    # print(args)
    print(args.result())

if __name__ == "__main__":
    # 同一时间最多允许5个进程并发
    tp = ProcessPoolExecutor(5)
    for i in range(1,11):
        tp.submit(func,i).add_done_callback(call_back)
    tp.shutdown()
    print("主进程id:",os.getpid())

内容总结

以上是互联网集市为您收集整理的python 之并发编程更新版进程池与进程池比较与回调函数全部内容，希望文章能够帮你解决python 之并发编程更新版进程池与进程池比较与回调函数所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端