本文主要对比测试Python的多线程和多进程模块在CPU类型和I/O的任务操作时的效率一 测试CPU消耗类型任务在一台多核CPU的服务器上执行多线程代码，理论上代码执行时会利用多余的CPU核心来提升性能。但是由于Python的GIL的存在，使用多线程来执行CPU繁重的任务，未必能得到性能提升。但是GIL又必不可少，因为在Python解释器中执行线程是不安全的，也就是说为了保证Python线程执行时的安全，Python提供了一个全局锁，同一时刻，只允许一...
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码，但是当项目达到一定的规模，频繁创建/销毁进程或者线程是非常消耗资源的，这个时候我们就要编写自己的线程池/进程池，以空间换时间。但从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的进一步抽象，对编写线程池/进程池提供了直接...
进程：正在执行的一个过程，是对正在运行程序的一个抽象操作系统：推荐阅读《操作系统原理》 《现代操作系统》IO操作进程调度：多个进程交替运行，操作系统必须对这些进程进行调度，这个调度也不是随即进行的，而是需要遵循一定的法则。先来先服务调度法短作业优先调度法时间片论转法多级反馈队列并发与并行***多道程序系统（程序之间的切换运行，保存状态叫做并发（伪并行））并行是理想状态，源于多个cpu运行(多核技术)同步异步（...
1.1 进程考虑一个场景：浏览器，网易云音乐以及notepad++ 三个软件只能顺序执行是怎样一种场景呢？另外，假如有两个程序A和B，程序A在执行到一半的过程中，需要读取大量的数据输入（I/O操作），而此时CPU只能静静地等待任务A读取完数据才能继续执行，这样就白白浪费了CPU资源。你是不是已经想到在程序A读取数据的过程中，让程序B去执行，当程序A读取完数据之后，让程序B暂停。聪明，这当然没问题，但这里有一个关键词：切换。既然是...
from multiprocessing import Process, Pool import time import subprocessdef task(msg):print‘hello, %s‘ % msgtime.sleep(1)def test_pool():pool = Pool(processes=4)for x in range(10):pool.apply_async(task, args=(x,))print"for end"pool.close()print"pool close"pool.join()print"pool join"print‘processes done.‘def test_process():p = Process(target=task, args=(command,))p.start()p.join()if__name__ == ‘...
一.进程：1.定义：进程最小的资源单位，本质就是一个程序在一个数据集上的一次动态执行(运行)的过程2.组成：进程一般由程序，数据集，进程控制三部分组成:(1)程序：用来描述进程要完成哪些功能以及如何完成(2)数据集：是程序在执行过程中所需要使用的一切资源(3)进程控制块：用来记录进程外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。3.进程的作用：是想完成多任务并发，进...
目录1.进程是什么2.进程的生命周期3.Python中多进程的实现4.进程和线程的区别@(进程)1.进程是什么进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。2.进程的生命周期3.Pyth...
语言：python3 系统：ubuntu18 只能在Unix系统运行import os import re import signal# 要杀死程序名称，最好全名 program_name = "chromedriver"# 终端执行的命令 order_str = "ps x | grep %s" % program_name # 执行 strs_obj = os.popen("ps x | grep chromedriver") t_strs = strs_obj.read() # 通过正则获取pid pid_list = re.findall(r"(\d+).+chromedriver --port=\d+", t_strs, re.I) print(pid_list) for j in ...
Python线程Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。#!/usr/bin/env python # -*- coding:utf-8 -*-import threading import timedef show(arg):time.sleep(1)print‘thread‘+str(arg)for i in range(10):t = threading.Thread(target=show, args=(i,))t.start()print‘main thread stop‘上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。更多方法：s...
由于需要为OpenStack中的虚拟机设计监控Agent，因此需要一个稳妥、可靠并简单的守护进程实现作为基础框架，故研究了一下Linux系统中的守护进程。首先，守护进程是一类在后台执行，生命周期较长的进程，它一般随系统启动运行，在系统关闭的时候停止。翻译了一下《Advanced Programming in The Unix Environment Section》的第13.3小节，此小节是一个关于守护进程的设计规范，罗列了守护进程设计实现的几大原则： 翻译《AdvancedPro...
应用场景在进行 Linux 运维的环境中，我们经常会遇到维护同一台服务器上的多个程序，涉及到程序的启动、关闭和重启操作。通常这些程序之间存在着相互依存的关系需要进行依次的启动关闭操作。 下面介绍几种通过进程名获取进程PID的方法：方法一：使用 subprocess 的 check_output 函数执行pidof命令from subprocess import check_output def get_pid(name):return map(int,check_output(["pidof",name]).split())方法2：使用 pgrep ...
进程是资源的一个集合,1、一个应用程序，可以有多进程和多线程2、默认一个程序是单进程单线程IO操作使用多线程提高并发计算操作使用多进程提高并发进程与线程区别1、线程共享内存空间，进程的内存是独立的2、线程共享进程内存的数据，进程之间的数据是无法进行访问的3、在同一个进程内，线程之间可以直接进行数据的访问，两个进程如果通信，必须通过一个中间代理进行通信4、创建线程非常容易，创建新进程需要对其父进程进行一次克隆...
一、基本概念线程和进程是操作系统中经常考察的概念。区别和联系可以查看我之前的博客https://www.cnblogs.com/wkfvawl/p/14407427.html#scroller-6进程进程是程序在计算机上的一次执行活动。从内核的观点看，进程的目的就是担当分配系统资源（CPU时间、内存等）的基本单位。进程有独立的地址空间，一个进程崩溃后不会对其它进程产生影响。线程线程是进程的一个执行流，是CPU调度和分派的基本单位，它是比进程更小的能独立运行的基...
Python程序中的进程操作-开启多进程之前我们已经了解了很多进程相关的理论知识，了解进程是什么应该不再困难了，刚刚我们已经了解了，运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。以我们之前所学的知识，并不能实...
本节介绍Python进行异常处理的方式，异常处理机制可以帮助我们调试python程序。 (1)异常的简介: 异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。(异常处理机制也是为了程序能够更稳定的运行。) python提供了两个功能来处理python程序...