四 同步\异步and阻塞\非阻塞（重点）同步：#所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不会返回。按照这个定义，其实绝大多数函数都是同步调用。但是一般而言，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要一定时间完成的任务。 #举例： #1. multiprocessing.Pool下的apply #发起同步调用后，就在原地等着任务结束，根本不考虑任务是在计算还是在io阻塞，总之就是一股脑地等任务结束 #2. ...
Python线程Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。1234567891011121314#!/usr/bin/env python# -*- coding:utf-8 -*-import threadingimport time def show(arg): time.sleep(1) print ‘thread‘+str(arg) for i in range(10): t = threading.Thread(target=show, args=(i,)) t.start() print ‘main thread stop‘上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指...
multiprocessing 模块介绍python中的多线程无法利用多核优势,如果想要充分的使用多核cpu的资源,os.cpu_count可以查看逻辑cpu数,在python中大部分情况需要使用多进程,python提供了multiprocessingmuliprocessing模块用来开启子进程,并在子进程中执行我们制定的任务(比如函数),这个模块与多线程模块threading编程接口类似multiprocessing模块的功能众多,支持子进程,通信和共享数据,执行不同形式的同步,提供了Process,Queue,Pipe,Lock...
1 基于UDP套接字1.1 介绍 udp是无连接的，是数据报协议，先启动哪段都不会报错 udp服务端import socketsk = socket() #创建一个服务器的套接字 sk.bind() #绑定服务器套接字while True: #服务器无限循环 cs = sk.recvfrom()/sk.sendto() # 对话(接收与发送) sk.close() # 关闭服务器套接字 udp客户端import socket client = socket() # 创建客户套接字while True: # 通讯循环 client.sendto()/client.recvfrom() # 对话(发...
对于所有的语言都可能会遇到进程和线程的问题，一般情况下线程是由进程产生的，一个进程产生多个线程来按照一定的规则（Python下根据CPU调度算法和全局进程锁）来利用CPU，我们称之为多线程模式；而一个进程在产生的同时，同时会生成一个主线程，如果程序生成多个进程，那么每个进程都会产生一个线程，多个程序按照一定的规则去利用CPU，我们称之为多进程模式。 Python下多线程与多进程关系图原理如下所示:650) thi...
一 Process对象的join方法在主进程运行过程中如果想并发地执行其他的任务，我们可以开启子进程，此时主进程的任务与子进程的任务分两种情况 情况一：在主进程的任务与子进程的任务彼此独立的情况下，主进程的任务先执行完毕后，主进程还需要等待子进程执行完毕，然后统一回收资源。 这种是没有join方法 情况二：如果主进程的任务在执行到某一个阶段时，需要等待子进程执行完毕后才能继续执行，就需要有一种机制能够让主进程检测子进...
最近正在学习Python中的异步编程，看了一些博客后做了一些小测验：对比asyncio+aiohttp的爬虫和asyncio+aiohttp+concurrent.futures(线程池/进程池)在效率中的差异，注释：在爬虫中我几乎没有使用任何计算性任务，为了探测异步的性能，全部都只是做了网络IO请求，就是说aiohttp把网页get完就程序就done了。结果发现前者的效率比后者还要高。我询问了另外一位博主，(提供代码的博主没回我信息)，他说使用concurrent.futures的话因为...
一、线程Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。#!/usr/bin/env python # -*- coding:utf-8 -*-import threading import timedef show(arg):time.sleep(1)print‘thread‘+str(arg)for i in range(10):t = threading.Thread(target=show, args=(i,))t.start()print‘main thread stop‘上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。更多方法：sta...
计算机硬件组成 主板 固化(寄存器,是直接和cpu进行交互的一个硬件) cpu 中央处理器:计算(数字计算和逻辑计算)和控制(控制所有硬件协调工作) 存储 硬盘,内存 输入设备 键盘,鼠标,话筒 输出设备 显示器,音响,打印机等 计算机发展史 第一代计算机:电子管计算机:及其耗电体积庞大,散热量特别高第二代计算机:晶体管计算机,第三代计算机:白色大头计算机,集成电路计算机,一个板子固化几十到上...
2.3 GIL(全局解释器锁) Python中的线程是操作系统的原生线程，Python虚拟机使用一个全局解释器锁（Global Interpreter Lock）来互斥线程对Python虚拟机的使用。为了支持多线程机制，一个基本的要求就是需要实现不同线程对共享资源访问的互斥，所以引入了GIL。 GIL：在一个线程拥有了解释器的访问权之后，其他的所有线程都必须等待它释放解释器的访问权，即使这些线程的下一条指令并不会互相影响。 在调用任何Python C API之前，要先...
本节介绍字符串的创建与操作方法。 (1)创建字符串： 创建字符串既可以用单引号也可以用双引号：root@SJM:/home/sunjimeng/桌面# cat text.py #单引号和双引号都可以创建字符串 str1=‘MenAngel‘ str2="SunJiMeng"print(str1,‘ is ‘,str2) root@SJM:/home/sunjimeng/桌面# python3.5 text.py MenAngel is SunJiMeng root@SJM:/home/sunjimeng/桌面# (2)访问字符串中指定的值： Python不支持单字符类型，单字符也...
线程线程是操作系统可以调度的最小单元。线程：一堆指令的集合，包含在进程之中数据临时存入内存中，程序关闭时，内存清空。硬盘的读写速度<内存<CPU每一个程序的内存是独立的，相互之间不能访问。内存对各种资源管理的集合，就是进程。进程如果要操作CPU，必须要创建线程。进程本身不具备执行的能力。必须依赖线程去操作CPU。一个进程至少要有一个线程。所有在同一个进程里的线程是共享同一块内存空间的。进程一个程序执行的实例就...
#方法一 直接调用 import time import random from multiprocessing import Process def run(name):index = 0for i in range(3):print('%s runing' %name)time.sleep(random.randrange(1,5))print('%s running end' %name)index +1l = [] if __name__ == "__main__":for i in range(20):p = Process(target=run,args=(i,))p.start()l.append(p)for proc in l:proc.join()print("执行完毕")原文：https://www.cnblogs.com/asia9847/...
pool = multiprocessing.Pool(processes=10) row = [...] for row in rows:task_id = row[1]img_id = row[0]pool.apply_async(check_picture_contain_human_or_dog, (task_id, img_id)) pool.close() pool.join() 原文：https://www.cnblogs.com/tanghuang/p/9786052.html
一、forking 进程通过fork产生的进程有以下几个特点：是一个进程的克隆。创建的进程独立于父进程单独存在。线程在调用fork()那那点被复制执行。 在子线程中返回0。在父线程中返回子线程的pid子线程的PID不同于父线程。二、代码示例#!/usr/bin/env pythonimport osdefchild_process():print"I am the child process and my PID is : %d" % os.getpid()print"teh child is exiting."defparent_process():print"I am the parent proce...