Scrapy框架进阶+Redis入门 1. 设置代理IP1.1 基本概念1.2 设置代理IP 2. scrapy集成selenium2.1 代码需求2.2 案例代码 3. Scrapy框架进阶——Redis数据库3.1 基本概念3.2 redis数据库的使用：1. 设置代理IP 1.1 基本概念 什么是代理IP： 代理IP服务器是在计算机上运行的专用计算机或软件系统，其充当端点设备（例如计算机）与用户或客户端从其请求服务的另一服务器之间的中介。 为什么要设置代理IP： 突破自身的IP访问限制，防止因...
文章目录 1.项目数据库的管理1.1 创建数据库模型1.2 数据库模型基本操作（增删改查）1.2.1 导入数据库1.2.2 增加数据信息1.2.3 查看数据库信息1.2.4 删除 1.3 添加关联对象 2. 自定义模型加入后台管理2.1 自定义模型（Book类和Hero类）加入后台管理2.2 界面内容汉化2.3 自定义管理页面2.3.1 列表页展示2.3.2 修改添加页属性3. 前台管理3.1 URLconf路由管理3.2 视图函数处理业务逻辑3.2.1 html模板显示3.2.2 显示书籍的详情页 3.3 模...
安装导入第三方模块Redis pip3 install redisimport redis操作String类型 """ redis 基本命令 String set(name, value, ex=None, px=None, nx=False, xx=False) 在 Redis 中设置值，默认，不存在则创建，存在则修改。 参数：ex - 过期时间（秒）px - 过期时间（毫秒）nx - 如果设置为True，则只有name不存在时，当前set操作才执行xx - 如果设置为True，则只有name存在时，当前set操作才执行 redis 取出的结果默认是字节，我们可以设...
1.MySQL是什么 1.1：MYSQL简介 MySQL 是最流行的数据库之一，是一个免费开源的关系型数据库管理系统，但也不意味着该数据库是完全免费的。MySQL 由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 适合中小型软件，被个人用户以及中小企业青睐。 针对不同的用户，MySQL 分为两个版本： MySQL Community Server（社区版）：该版本是自由下载且完全免费的，但是官方不提供技术支持。 MySQL Enterprise Server（企业版）：...
本文内容皆为作者原创，如需转载，请注明出处：https://www.cnblogs.com/xuexianqi/p/12830084.html 一：约束条件 default 默认值 # 补充知识点 插入数据的时候 可以指定字段顺序 create table t1(id int,name char(16) );insert into t1(name,id) values('jason',1);# 设置默认值 create table t2(id int,name char(16) not null,gender enum('male','female','others') default 'male' );insert into t2(name,id) values('jason...
前言 在Python中，计算密集型任务适用于多进程，IO密集型任务适用于多线程 正常来讲，多线程要比多进程效率更高，因为进程间的切换需要的资源和开销更大，而线程相对更小，但是我们使用的Python大多数的解释器是Cpython，众所周知Cpython有个GIL锁，导致执行计算密集型任务时多线程实际只能是单线程，而且由于线程之间切换的开销导致多线程往往比实际的单线程还要慢，所以在 python 中计算密集型任务通常使用多进程，因为各个进程...
Pyramid是比较流行的Python Web 框架，比较灵活，功能也很强大。最近项目上用到，便打算学习一下。网上教程比较少，而且很多都是针对linux平台的，我是windows土著所以对那些linux命令如何转化成windows命令很头疼。花了时间学习，便要最大化时间价值，分享出来帮助大家节约学习时间。 主要学习材料来自官网，网址如下： https://docs.pylonsproject.org/projects/pyramid/en/latest/quick_tutorial/index.html 所有命令都是针对wi...
python 多进程 程序:是一个指令的集合 进程，正在执行的程序 编写完的代码，没有运行时，称为程序，正在运行的代码，称为进程 – 程序是死的(静态的)，进程是活的(动态的) 串行： 每个任务进入CPU中执行，执行一部分秒切下一个任务，处理完一个才能处理下一个，依次执行并行：是指多个线程同时执行（多核CPU），微观上是同时的；并发：一段时间内宏观上有多个序在同时运行，微观上这些程序都是交替执行的，（单核CPU） 多进程mult...
线程池快速上手from concurrent.futures import ThreadPoolExecutor from utils import *workers = 8 with ThreadPoolExecutor(max_workers=workers) as pool:# 使用线程执行map计算results = pool.map(batch_gen, (_{}.format(ed) for ed in range(5000, 5000*workers+1, 5000)), (5000 for _ in range(workers)))for r in results:print("Stend {}s ...".format(r))自动阻塞主线程等待全部线程完成 多进程处理 https://www.cnblo...
Python进阶----进程之间通信(互斥锁,队列(参数:timeout和block),), ***生产消费者模型 一丶互斥锁 含义: ? ? ? 每个对象都对应于一个可称为" 互斥锁" 的标记，这个标记用来保证在任一时刻，只能有一个线程访问该对象(串行) 目的: ? ? 来保证共享数据操作的完整性和安全性(文本数据),保证数据的公平性 区别join: ? ? 共同点: 都能实现cpu的进程串行 ? ? 不同点: join是人为指定顺序, 不能保证公平性. 互斥锁能够保证公平性 ### 加...
1.进程创建方式 import time import os from multiprocessing import Process def func ():time.sleep(1)print(1,os.getpid(),os.getppid())if __name__ == __main__:#异步执行func,在一秒钟的时间通过生成多个子进程来执行多个func#1.先实例化#2.实例化对象.start()# 目标函数：target=Process(target=func).start() #process类通知操作系统要为当前代码快在开辟一个进程，是异步过程使用Process模块 import time from multipro...