首页 / PYTHON / python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比

python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1642字，纯文字阅读大概需要3分钟。

内容图文

此文三个目的，不能光意淫概念误入歧途，有的人以为得概念一套一套的，其实并不是想的那样，实践对比才能出真知，要尊重实践。

此文使用各种网络请求库和各种并发模式和各种大小的线程池来测试请求50000次一个内容源码很小的百度静态页面，分别测试http和https

        
            https://www.baidu.com/content-search.xml

        
            http://www.baidu.com/content-search.xml

网页内容很小，（基本可以排除认为请求得慢，耍赖说是网速带宽差造成的）。

1.总结一下python的各种网络请求库的性能，包括urllib3 和requests和aiohttp

2.总结一下多线程 asyncio gevent的并发效率

3.4核cpu情况下对比200线程池并发数量和 9线程池（2 * 4 +1）并发效率。

测试截图如下，nb_log把print时间自动打印出来，方便控制台搜索每秒运行多少次,一定要import nb_log。

技术分享图片

测试方案1：

技术分享图片

urllib3 + ThreadPoolExecutor 200线程池 +请求连接池 + 请求 https

平均每秒请求完成 750次。

测试方案2

技术分享图片

requests + ThreadPoolExecutor 200线程池 +请求连接池 + 请求 https

平均每秒请求完成310次。

测试方案3

技术分享图片

urllib3 + gevent 200并发 + 连接池 + 请求https

平均每秒秒请求完成270次。

测试方案4

技术分享图片

urllib3 + 线程池 200并发 + 连接池 + 请求http （注意是http，不是https，https会执行更多的代码路径消耗更高的cpu）

平均每秒秒请求完成1300次。

测试方案5

技术分享图片

requests + 线程池 200并发 + 连接池 + 请求http （注意是http，不是https）

平均每秒秒请求完成330次。

测试方案6

技术分享图片

urllib3 + gevent 200并发 + 连接池 + 请求http （注意是http，不是https）

平均每秒秒请求完成580次。

测试方案7

技术分享图片

urllib3 + 线程池 200并发 + 不使用请求连接池 + 请求https （注意是https，不是http）

平均每秒秒请求完成580次。

测试方案8

技术分享图片

requests + 线程池 200并发 + 不使用请求连接池 + 请求https （注意是https，不是http）

平均每秒秒请求完成120次。

测试方案9

技术分享图片

aiohttp + asyncio 200并发 + 使用请求连接池 + 请求https （注意是https，不是http）

平均每秒秒请求完成990次。

测试方案10

技术分享图片

aiohttp + asyncio 200并发 + 使用请求连接池 + 请求http （注意是http，不是https）

平均每秒秒请求完成1080次。

测试方案11

技术分享图片

aiohttp + asyncio 200并发 + 不使用请求连接池 + 请求http （注意不使用连接池）

平均每秒秒请求完成400次。

测试方案12

技术分享图片

aiohttp + asyncio 200并发 + 不使用请求连接池 + 请求https （注意不使用连接池）

平均每秒秒请求完成170次。

综上所述，请求http比https快很多

连接池比不使用连接池快很多。

gevent 比线程池慢。

urllib3 比requests快很多。

asyncio + aiohttp 比线程池 + urllib3快一丝丝。

原文：https://www.cnblogs.com/ydf0509/p/14655383.html

内容总结

以上是互联网集市为您收集整理的python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比全部内容，希望文章能够帮你解决python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1326691.html

来源：【匿名】

【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比】教程文章相关的互联网学习教程文章

python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比【代码】【图】

此文三个目的，不能光意淫概念误入歧途，有的人以为得概念一套一套的，其实并不是想的那样，实践对比才能出真知，要尊重实践。此文使用各种网络请求库和各种并发模式和各种大小的线程池来测试请求50000次一个内容源码很小的百度静态页面，分别测试http和httpshttps://www.baidu.com/content-search.xmlhttp://www.baidu.com/content-search.xml网页内容很小，（基本可以排除认为请求得慢，耍赖说是网速带宽差造成的）。 1.总结一下...

python requests 配置超时及重试次数【代码】

import requests from requests.adapters import HTTPAdapters = requests.Session() s.mount(‘http://‘, HTTPAdapter(max_retries=3)) s.mount(‘https://‘, HTTPAdapter(max_retries=3))s.get(‘http://example.com‘, timeout=1) 原文：http://www.cnblogs.com/eshizhan/p/5072626.html

python request模块学习【代码】

安装: pip install requests使用： import requests HTTP请求：GET、POST、PUT、DELETE、HEAD、OPTIONS1) get res = requests.get("https://github.com/timeline.json") 2) post res = requests.post("http://httpbin.org/post");3) put res = requests.put("http://httpbin.org/put");4) delete res = requests.delete("http://httpbin.org/delete");5) head res = requests.head("http://httpbin.org/get") ;6) options res =...

PYTHON爬虫代理如何设置？用免费IP或IP池和REQUEST库爬取网页【图】

0元免费IP列表首先分享一波：免费代理由第三方服务器提供，IP质量不高。IP地址端口号匿名程度支持协议地区稳定时间更新时间FREE 114.233.51.111 4257 超高HTTP江苏省泰州市5-1440分钟2020/10/18 11:00:01FREE 49.71.99.110 4226 超高HTTP江苏省扬州市5-1440分钟2020/10/18 10:00:01FREE 183.4.66.22 4205 超高HTTP广东省江门市5-1440分钟2020/10/18 09:00:01FREE 119.7.231.13 64261 超高HTTP四川省雅安市5-1440分钟2020/10/...

python requests 伪装头【代码】

转载：https://www.cnblogs.com/lianggege123/articles/9282218.html在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：安装fake-useragent库pip install fake-useragent获取各浏览器的fake-useragent from fake_useragent import UserAgent ua = UserAgent() #ie浏览器的user agent print(ua.ie)#opera浏览器 print(ua.ope...

Python爬虫（二）：Requests库【代码】

所谓爬虫就是模拟客户端发送网络请求，获取网络响应，并按照一定的规则解析获取的数据并保存的程序。要说 Python 的爬虫必然绕不过 Requests 库。1 简介对于 Requests 库，官方文档是这么说的：Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。这个介绍还是比较生动形象的，便...

python导入requests包

第一步：下载一个pip包解压，在cmd中进入pip解压目录进行安装，安装命令：python setup.py install第二步：配置pip环境变量，在path后配置pip安装路径（pip安装路径位于python安装路径scripts目录下）第三步：重启电脑（如果在使用pip进行命令操作时提示找不到pip的话）第四步：在cmd中安装requests,进入到pip的安装目录后执行命令：pip install requests第五步：检查requests安装是否成功。在pycharm中导入requests包不报错即安装...

Python之requests错误Expecting value: line 1 column 1 (char 0)

修复前self.r =requests.post(url,params=params,headers=headers,timeout=Interface_Time_Out)修复后self.r =requests.post(url,data=params,headers=headers,timeout=Interface_Time_Out)原因http://httpbin.org/get?key1=value1&key2=value2params关键字代表的是query string（从字符“?”开始的就是query string）data关键字代表的是body中的formjson关键字代表的是body中的json原文：https://www.cnblogs.com/PMXGG/p/1328601...

python requests库网页爬取小实例：百度/360搜索关键词提交【代码】

百度/360搜索关键词提交全代码：#百度/360搜索关键词提交import requestskeyword=‘Python‘try: 　　#百度关键字　　# kv={‘wd‘:keyword} 　　#360关键字　　kv={‘q‘:keyword} 　　r=requests.get("http://baidu.com/s",params=kv) 　　print(r.request.url) 　　r.raise_for_status() 　　print(len(r.text))except: 　　print("爬取失败") 原文：https://www.cnblogs.com/wyhluckdog/p/107590...

python之路_day96_爬虫之requests模块补充【代码】

一、响应Response1、response属性import requests respone=requests.get(‘http://www.jianshu.com‘) # respone属性print(respone.text) #获得文本内容print(respone.content) #获得二进制文本内容print(respone.status_code) #获得状态码print(respone.headers) #获得响应头print(respone.cookies) #获得cookies...

python3简单使用requests【代码】

官方文档：http://docs.python-requests.org/en/master/　　我这里使用的是当前最新的python3.6。　　安装pip3 install requests　　使用requests模块完成各种操作　　1、get请求import requestsurl=‘https://www.baidu.com‘ r = requests.get(url) print(r.status_code)　　2、post请求 url = ‘https://www.baidu.com‘data_post = ‘just put your data and use original format‘r = requests.post(url, data=data_post, ve...

python 接口自动化测试二（request.get）【代码】【图】

环境搭建好后，接下来我们先来了解一下requests的一些简单使用，主要包括：requests常用请求方法使用，包括：get，postrequests库中的Session、Cookie的使用其它高级部分：认证、代理、证书验证、超时配置、错误异常处理等。本节首先来了解一下requests库中如何发送get请求：一、看下方法定义：1、到官方文档去了下requests.get()方法的定义，如下： 2、点击右上角的【source】，看一下它的源码如下：看到最后一行return，get方法...

python学习之爬虫：安装requests模块【图】

终端输入命令：pip install requests 如果报错：p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000; background-color: #ffffff } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #c33720; background-color: #ffffff } span.s1 { }Installing collected packages: idna, urllib3, certifi, chardet, requestsException:Traceback (most recent call last): File "/Library/Pyt...

python用requests模块下载图片【代码】

用requests.get()方法获取网页代码用beautifulsoup模块解析出图片地址再用requests模块以图片地址为参数，再发一次请求。with open as f 以二进制保存图片信息。img.contentimport requests from bs4 import BeautifulSoup as bs url=‘http://bbs.fengniao.com/forum/10957178_p97726260.html#post97726260‘ r=requests.get(url) html=bs(r.text,‘html.parser‘) #获取页面源代码， div_list=html.find_all(‘div‘,class...

python发送requests请求时，使用登录的token值，作为下一个接口的请求头信息【图】

python发送requests请求时，使用登录的token值，作为下一个接口的请求头信息登录接口代码：在这里插入图片描述登陆后返回的结果是：在这里插入图片描述新增渠道接口：新增渠道接口需要在headers中添加登陆后返回的token才可以注意：是在headers中添加token 在这里插入图片描述这是在postman上面所填写的，那么我们在requests里怎么把token加到headers中呢首先我们要知道登陆后返回的token是哪个字段，返回的消息记录token值的...

首页 / PYTHON / python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比

python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比

内容导读

内容图文

内容总结

内容备注

内容手机端

【python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比】教程文章相关的互联网学习教程文章

REQUEST - 相关标签

AIOHTTP - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程