线程queue线程之间已经是共享数据的，为什么还使用线程queue？线程需要自己加锁，线程queue帮我们处理好加锁的问题 有三种不同的用法 第一种方法:class queue.Queue(maxsize=0) #队列：先进先出 put(‘four‘,block=,timeout=)第一个参数： 放入的数据第二个参数： block=True 时 队列满了，再放数据不抛出异常，程序卡主，不指定block参数，默认是Trueblock=false时，队列满了，再放数据，不阻塞，抛出异常 源码def put(self, ite...
https://www.cnblogs.com/nulige/p/6351318.html RabbitMQ队列RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接...
3、Python创建TCP服务端和客户端 1）TCP协议示意（Socket英文里是“插座”的意思，翻译到中文为“套接字”） 2）创建TCP服务端 步骤：创->绑->监->接创建socket对象 socket.socket(family=AF_INET, type=SOCK_STREAM, protp=0, fileno=None)family：指定网络类型（AF_INET（默认），基于 IPv4 协议的网络；AF_INET6 基于 IPv6 协议的网络；AF_UNIX 基于 UNIX 的网络） type：指定 socket 类型（SOCK_STREAM（默认），基于 TCP 协议...
引言Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码，但是当项目达到一定的规模，频繁创建/销毁进程或者线程是非常消耗资源的，这个时候我们就要编写自己的线程池/进程池，以空间换时间。但从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的进一步抽象，对编写线程池/进程池提供了...
让计算机程序并发的运行是一个经常被讨论的话题，今天我想讨论一下Python下的各种并发方式。并发方式线程（Thread）多线程几乎是每一个程序猿在使用每一种语言时都会首先想到用于解决并发的工具（JS程序员请回避），使用多线程可以有效的利用CPU资源（Python例外）。然而多线程所带来的程序的复杂度也不可避免，尤其是对竞争资源的同步问题。然而在python中由于使用了全局解释锁（GIL）的原因，代码并不能同时在多核上并发的运行，...
引言Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码，但是当项目达到一定的规模，频繁创建/销毁进程或者线程是非常消耗资源的，这个时候我们就要编写自己的线程池/进程池，以空间换时间。但从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的进一步抽象，对编写线程池/进程池提供了...
一、简介我们将一个正在运行的程序称为进程。每个进程都有它自己的系统状态，包含内存状态、打开文件列表、追踪指令执行情况的程序指针以及一个保存局部变量的调用栈。通常情况下，一个进程依照一个单序列控制流顺序执行，这个控制流被称为该进程的主线程。在任何给定的时刻，一个程序只做一件事情。一个程序可以通过Python库函数中的os或subprocess模块创建新进程(例如os.fork()或是subprocess.Popen())。然而，这些被称为子进程的...
我们都知道并发（不是并行）编程目前有四种方式，多进程，多线程，异步，和协程。 多进程编程在python中有类似C的os.fork，当然还有更高层封装的multiprocessing标准库，在之前写过的python高可用程序设计方法中提供了类似nginx中master process和worker process间信号处理的方式，保证了业务进程的退出可以被主进程感知。 多线程编程python中有Thread和threading，在linux下所谓的线程，实际上是LWP轻量级进程，其在内核中具有和进...
1 动机 greenlet 包是 Stackless 的副产品，其将微线程称为 “tasklet” 。tasklet运行在伪并发中，使用channel进行同步数据交换。 一个”greenlet”，是一个更加原始的微线程的概念，但是没有调度，或者叫做协程。这在你需要控制你的代码时很有用。你可以自己构造微线程的 调度器；也可以使用”greenlet”实现高级的控制流。例如可以重新创建构造器；不同于Python的构造器，我们的构造器可以嵌套的调用函数，而被 嵌套的函数也可...
发展史： 1.手工操作——穿孔卡片 2.批处理 ? ①.联机批处理 ? ②.脱机批处理 3.多道程序设计技术 ? 遇到I/O操作时，CPU执行其他程序 4.分时系统 ? 时间片 5.通用操作系统 ? 多道批处理、分时 进程： ? 为什么要有进程？ ? 程序：二进制文件（硬盘） ? 进程：二进制文件（内存）+ PCB（task_struct） ? 缺点： 1.进程只能在一个时间干一件事情，如果想同时干两件事或多件事，进程就无能为力了。 ? 2.进程在执行的过程中如果阻塞，列...
文章目录 一、IO模型介绍二、阻塞IO(blocking IO)三、非阻塞IO(non-blocking IO)四、多路复用IO(IO multiplexing)五、异步IO(Asynchronous I/O)六、IO模型比较分析七、selectors模块实现IO复用中的三个API(select、poll和epoll)的区别和联系：1 select2 poll3 epoll总结实例：基于selectors模块实现聊天一、IO模型介绍 为了更好地了解IO模型，我们需要事先回顾下：同步、异步、阻塞、非阻塞： 同步：所谓同步，就是在发出一个功能调...
文章目录 一、线程的基本概念二、线程与进程的关系三、线程的特点四、线程的实际使用场景五、内存中的线程六、用户级线程和内核级线程（了解）1 用户级线程2 内核级线程3 用户级与内核级线程的对比4 混合实现 七、python线程模块—threading模块1 开启线程的两种方式2 在一个进程下开启多个线程与在一个进程下开启多个子进程的区别3 练习：多线程实现socket4 线程相关的其他方法5 守护线程6 全局解释器锁GIL6.1 python中的GIL6.2 G...
线程池ThreadPoolExecutor系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。在这种情形下，使用线程池可以很好地提升性能，尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。 线程池在系统启动时即创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来执行它。当该函数执行结束后，该线程并不会死亡，而是再次返回到线程池中变成空闲状态，等待执行下一个...
python并发编程（四） 文章目录 python并发编程（四）一 GIL全局解释锁二 协程一 GIL全局解释锁 1 概念 GIL全局解释锁： 在cpython解释器中，同一个进程下开启多线程，同一时刻只能有一个线程执行，无法利用多核优势 gil并不是python的特性，而是在实现python解释器（cpython是大部分环境下默认的python执行环境）时所引入的一个概念。 2 介绍 GIL的本质也是一把互斥锁，其本质也是将并发编程串行，以此来控制同一时间内共享数据只...
十六.线程池概念 1.什么是线程池 与进程池类似, 线程池是在系统启动时就先创建大量空闲的线程, 程序提交一个任务给线程池, 线程池便会调用一个线程来执行该任务, 当任务运行完毕后, 该线程并不会关闭, 而是返回到线程池中再次变为空闲状态等待下一个提交的任务, 2.为什么使用线程池 虽说线程的启动相比较于进程开销非常小, 但毕竟也是需要向操作系统发起调用, 我们使用线程在一些情况下能更好的提升性能, 尤其是程序中有大量生命期...