首页 / PYTHON / Python网络请求模块Requests的使用

Python网络请求模块Requests的使用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python网络请求模块Requests的使用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7685字，纯文字阅读大概需要11分钟。

内容图文

网络请求模块

requests

介绍

requests 模块是可以模仿浏览器发送请求获取响应
requests 模块在python2,与python3中通用
requests模块能够自动帮助我们解压网页内容

requests模块的安装

pip install requests

如果你本地有python2,和python3两个环境，你想装在python3中，建议使用下面这种方式安装

pip3 install requests

requests模块的使用

基本使用

使用方式

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 发送 GET 请求获取响应
response = requests.get(url)
# 获取响应的 html 内容
html = response.text

代码讲解
response 常用属性
- response.text 返回响应内容，响应内容为 str 类型
- respones.content 返回响应内容,响应内容为 bytes 类型
- response.status_code 返回响应状态码
- response.request.headers 返回请求头
- response.headers 返回响应头
- response.cookies 返回响应的 RequestsCookieJar 对象
response.content 转换 str 类型

# 获取字节数据
content = response.content
# 转换成字符串类型
html = content.decode('utf-8')

response.cookies 操作

# 返回 RequestsCookieJar 对象
cookies = response.cookies
# RequestsCookieJar 转 dict
requests.utils.dict_from_cookiejar(cookies)
# dict 转 RequestsCookieJar
requests.utils.cookiejar_from_dict()
# 对cookie进行操作,把一个字典添加到cookiejar中
requests.utils.add_dict_to_cookiejar()

自定义请求头

使用方式

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
  "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
# 发送自定义请求头
response = requests.get(url,headers=headers)
# 获取响应的 html 内容
html = response.text

代码讲解

发送请求时添加 headers 参数作为自定义请求头

发送 GET 请求

使用方式

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com/s'
# 定义自定义请求头
headers = {
  "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
# 定义 GET 请求参数
params = {
  "kw":"hello"
}
# 使用 GET 请求参数发送请求
response = requests.get(url,headers=headers,params=params)
# 获取响应的 html 内容
html = response.text

代码讲解

发送请求时 params 参数作为 GET 请求参数

发送 POST 请求

使用方式

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
  "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
# 定义post请求参数
data = {
  "kw":"hello"
}

# 使用 POST 请求参数发送请求
response = requests.post(url,headers=headers,data=data)
# 获取响应的 html 内容
html = response.text

代码讲解

发送请求时 data 参数作为 POST 请求参数

保存图片

使用方式

# 导入模块
import requests
# 下载图片地址
url = "http://docs.python-requests.org/zh_CN/latest/_static/requests-sidebar.png"
# 发送请求获取响应
response = requests.get(url)
# 保存图片
with open('image.png','wb') as f:
  f.write(response.content)

代码讲解

保存图片时后缀名和请求的后缀名一致

保存必须使用 response.content 进行保存文件

使用代理服务器

作用
- 让服务器以为不是同一个客户端在请求
- 防止我们的真实地址被泄露，防止被追究
使用代理的过程

Python网络请求模块Requests的使用 - 文章图片

代理分类
透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。
匿名代理(Anonymous Proxy)：匿名代理比透明代理进步了一点：别人只能知道你用了代理，无法知道你是谁。
混淆代理(Distorting Proxies)：与匿名代理相同，如果使用了混淆代理，别人还是能知道你在用代理，但是会得到一个假的IP地址，伪装的更逼真
高匿代理(Elite proxy或High Anonymity Proxy)：可以看出来，高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

在使用的使用，毫无疑问使用高匿代理效果最好

从使用的协议：代理ip可以分为http代理，https代理，socket代理等，使用的时候需要根据抓取网站的协议来选择

使用方式

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
  "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
# 定义 代理服务器
proxies = {
  "http":"http://IP地址:端口号",
  "https":"https://IP地址:端口号"
}
# 使用 POST 请求参数发送请求
response = requests.get(url,headers=headers,proxies=proxies)
# 获取响应的 html 内容
html = response.text

代码讲解

发送请求时 proxies 参数设置代理

发送请求携带 Cookies

使用方式

直接在自定义请求头中携带 Cookie

通过请求参数携带 Cookie 对象

代码

# 导入模块
import requests
# 定义请求地址
url = 'http://www.baidu.com'
# 定义自定义请求头
headers = {
  "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
  # 方式一：直接在请求头中携带Cookie内容
  "Cookie": "Cookie值"
}
# 方式二：定义 cookies 值
cookies = {
  "xx":"yy"
}
# 使用 POST 请求参数发送请求
response = requests.get(url,headers=headers,cookies=cookies)
# 获取响应的 html 内容
html = response.text

代码讲解

发送请求时 cookies 参数携带 Cookies

错误证书处理

问题描述
使用方式

# 导入模块
import requests

url = "https://www.12306.cn/mormhweb/"
# 设置忽略证书
response = requests.get(url,verify=False)

代码讲解

发送请求时 verify 参数设置为 False 表示不验证CA证书

超时处理

使用方式

# 导入模块
import requests

url = "https://www.baidu.com"
# 设置忽略证书
response = requests.get(url,timeout=5)

代码讲解

发送请求时 timeout 参数设置为超时秒数

重试处理

使用方式

#!/usr/bin/python3
# -*- coding: utf-8 -*-
'''
可以使用第三方模块 retrying 模块
1. pip install retrying

'''
import requests
# 1. 导入模块
from retrying import retry

# 2. 使用装饰器进行重试设置
# stop_max_attempt_number 表示重试次数
@retry(stop_max_attempt_number=3)
def parse_url(url):
    print("访问url:",url)
    headers = {
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"
    }
    proxies = {
        "http":"http://124.235.135.210:80"
    }
    # 设置超时参数
    response = requests.get(url,headers=headers,proxies=proxies,timeout=5)
    return response.text

if __name__ == '__main__':
    url = "http://www.baidu.com"
    try:
        html = parse_url(url)
        print(html)
    except Exception as e:
        # 把 url 记录到日志文件中，未来进行手动分析，然后对url进行重新请求
        print(e)

代码讲解
安装 retrying 模块

retrying 模块可以通过装饰器模式对某个函数进行监控，如果该函数引发异常就会触发重试操作

pip install retrying

对需要重试的函数进行装饰器设置

通过 @retry(stop_max_attempt_number=重试次数) 参数设置重试次数

# 1. 导入模块
from retrying import retry
# 2. 装饰器设置重试函数
@retry(stop_max_attempt_number=3)
def exec_func():
    pass

urllib

python3 中使用urllib网络库

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import urllib.request

# 2. 发起网络请求
# 2.1. 定义请求地址
url = "https://github.com"
# 2.2. 自定义请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
    "Referer": "https://github.com/",
    "Host": "github.com"
}

# 定义请求对象
req = urllib.request.Request(
    url=url,
    headers=headers
)

# 发送请求
resp = urllib.request.urlopen(req)

# 处理响应
with open('github.txt', 'wb') as f:
    f.write(resp.read())

urllib使用注意事项

如果使用在URL中需要进行转义

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-

 # 1. 导入模块
 import urllib.request
 import urllib.parse

 # 2. 发起请求获取响应

 wd = input("请输入查询内容：")

 # 2.1 定义请求地址
 url = "https://www.baidu.com/s?wd="
 # 2.2 定义自定义请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
    "Referer": "https://github.com/",
    "Host": "github.com"
}
 # 2.3 定义请求对象
 request = urllib.request.Request(
     url=url + urllib.parse.quote(wd),
     headers=headers
 )
 # 2.4 发送请求
 response = urllib.request.urlopen(request)

 # 3. 处理响应
 with open('02.html','wb') as f:
     f.write(response.read())
response.read()

返回值是字节串，获取字符串内容需要进行 decode

 html = response.read().decode('utf-8')

转载自https://github.com/Kr1s77/Python-crawler-tutorial-starts-from-zero

内容总结

以上是互联网集市为您收集整理的Python网络请求模块Requests的使用全部内容，希望文章能够帮你解决Python网络请求模块Requests的使用所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/639091.html

来源：【匿名】

【上一篇】python对文件中的关键词查找替换，实现自动获取配置【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【Python网络请求模块Requests的使用】教程文章相关的互联网学习教程文章

python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比【代码】【图】

此文三个目的，不能光意淫概念误入歧途，有的人以为得概念一套一套的，其实并不是想的那样，实践对比才能出真知，要尊重实践。此文使用各种网络请求库和各种并发模式和各种大小的线程池来测试请求50000次一个内容源码很小的百度静态页面，分别测试http和httpshttps://www.baidu.com/content-search.xmlhttp://www.baidu.com/content-search.xml网页内容很小，（基本可以排除认为请求得慢，耍赖说是网速带宽差造成的）。 1.总结一下...

python requests 配置超时及重试次数【代码】

import requests from requests.adapters import HTTPAdapters = requests.Session() s.mount(‘http://‘, HTTPAdapter(max_retries=3)) s.mount(‘https://‘, HTTPAdapter(max_retries=3))s.get(‘http://example.com‘, timeout=1) 原文：http://www.cnblogs.com/eshizhan/p/5072626.html

python request模块学习【代码】

安装: pip install requests使用： import requests HTTP请求：GET、POST、PUT、DELETE、HEAD、OPTIONS1) get res = requests.get("https://github.com/timeline.json") 2) post res = requests.post("http://httpbin.org/post");3) put res = requests.put("http://httpbin.org/put");4) delete res = requests.delete("http://httpbin.org/delete");5) head res = requests.head("http://httpbin.org/get") ;6) options res =...

PYTHON爬虫代理如何设置？用免费IP或IP池和REQUEST库爬取网页【图】

0元免费IP列表首先分享一波：免费代理由第三方服务器提供，IP质量不高。IP地址端口号匿名程度支持协议地区稳定时间更新时间FREE 114.233.51.111 4257 超高HTTP江苏省泰州市5-1440分钟2020/10/18 11:00:01FREE 49.71.99.110 4226 超高HTTP江苏省扬州市5-1440分钟2020/10/18 10:00:01FREE 183.4.66.22 4205 超高HTTP广东省江门市5-1440分钟2020/10/18 09:00:01FREE 119.7.231.13 64261 超高HTTP四川省雅安市5-1440分钟2020/10/...

python requests 伪装头【代码】

转载：https://www.cnblogs.com/lianggege123/articles/9282218.html在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：安装fake-useragent库pip install fake-useragent获取各浏览器的fake-useragent from fake_useragent import UserAgent ua = UserAgent() #ie浏览器的user agent print(ua.ie)#opera浏览器 print(ua.ope...

Python爬虫（二）：Requests库【代码】

所谓爬虫就是模拟客户端发送网络请求，获取网络响应，并按照一定的规则解析获取的数据并保存的程序。要说 Python 的爬虫必然绕不过 Requests 库。1 简介对于 Requests 库，官方文档是这么说的：Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。这个介绍还是比较生动形象的，便...

python导入requests包

第一步：下载一个pip包解压，在cmd中进入pip解压目录进行安装，安装命令：python setup.py install第二步：配置pip环境变量，在path后配置pip安装路径（pip安装路径位于python安装路径scripts目录下）第三步：重启电脑（如果在使用pip进行命令操作时提示找不到pip的话）第四步：在cmd中安装requests,进入到pip的安装目录后执行命令：pip install requests第五步：检查requests安装是否成功。在pycharm中导入requests包不报错即安装...

Python之requests错误Expecting value: line 1 column 1 (char 0)

修复前self.r =requests.post(url,params=params,headers=headers,timeout=Interface_Time_Out)修复后self.r =requests.post(url,data=params,headers=headers,timeout=Interface_Time_Out)原因http://httpbin.org/get?key1=value1&key2=value2params关键字代表的是query string（从字符“?”开始的就是query string）data关键字代表的是body中的formjson关键字代表的是body中的json原文：https://www.cnblogs.com/PMXGG/p/1328601...

python requests库网页爬取小实例：百度/360搜索关键词提交【代码】

百度/360搜索关键词提交全代码：#百度/360搜索关键词提交import requestskeyword=‘Python‘try: 　　#百度关键字　　# kv={‘wd‘:keyword} 　　#360关键字　　kv={‘q‘:keyword} 　　r=requests.get("http://baidu.com/s",params=kv) 　　print(r.request.url) 　　r.raise_for_status() 　　print(len(r.text))except: 　　print("爬取失败") 原文：https://www.cnblogs.com/wyhluckdog/p/107590...

python之路_day96_爬虫之requests模块补充【代码】

一、响应Response1、response属性import requests respone=requests.get(‘http://www.jianshu.com‘) # respone属性print(respone.text) #获得文本内容print(respone.content) #获得二进制文本内容print(respone.status_code) #获得状态码print(respone.headers) #获得响应头print(respone.cookies) #获得cookies...

python3简单使用requests【代码】

官方文档：http://docs.python-requests.org/en/master/　　我这里使用的是当前最新的python3.6。　　安装pip3 install requests　　使用requests模块完成各种操作　　1、get请求import requestsurl=‘https://www.baidu.com‘ r = requests.get(url) print(r.status_code)　　2、post请求 url = ‘https://www.baidu.com‘data_post = ‘just put your data and use original format‘r = requests.post(url, data=data_post, ve...

python 接口自动化测试二（request.get）【代码】【图】

环境搭建好后，接下来我们先来了解一下requests的一些简单使用，主要包括：requests常用请求方法使用，包括：get，postrequests库中的Session、Cookie的使用其它高级部分：认证、代理、证书验证、超时配置、错误异常处理等。本节首先来了解一下requests库中如何发送get请求：一、看下方法定义：1、到官方文档去了下requests.get()方法的定义，如下： 2、点击右上角的【source】，看一下它的源码如下：看到最后一行return，get方法...

python学习之爬虫：安装requests模块【图】

终端输入命令：pip install requests 如果报错：p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000; background-color: #ffffff } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #c33720; background-color: #ffffff } span.s1 { }Installing collected packages: idna, urllib3, certifi, chardet, requestsException:Traceback (most recent call last): File "/Library/Pyt...

python用requests模块下载图片【代码】

用requests.get()方法获取网页代码用beautifulsoup模块解析出图片地址再用requests模块以图片地址为参数，再发一次请求。with open as f 以二进制保存图片信息。img.contentimport requests from bs4 import BeautifulSoup as bs url=‘http://bbs.fengniao.com/forum/10957178_p97726260.html#post97726260‘ r=requests.get(url) html=bs(r.text,‘html.parser‘) #获取页面源代码， div_list=html.find_all(‘div‘,class...

python发送requests请求时，使用登录的token值，作为下一个接口的请求头信息【图】

python发送requests请求时，使用登录的token值，作为下一个接口的请求头信息登录接口代码：在这里插入图片描述登陆后返回的结果是：在这里插入图片描述新增渠道接口：新增渠道接口需要在headers中添加登陆后返回的token才可以注意：是在headers中添加token 在这里插入图片描述这是在postman上面所填写的，那么我们在requests里怎么把token加到headers中呢首先我们要知道登陆后返回的token是哪个字段，返回的消息记录token值的...

首页 / PYTHON / Python网络请求模块Requests的使用

Python网络请求模块Requests的使用

内容导读

内容图文

网络请求模块

requests

介绍

requests模块的安装

requests模块的使用

基本使用

自定义请求头

发送 GET 请求

发送 POST 请求

保存图片

使用代理服务器

发送请求携带 Cookies

错误证书处理

超时处理

重试处理

urllib

urllib使用注意事项

内容总结

内容备注

内容手机端

【Python网络请求模块Requests的使用】教程文章相关的互联网学习教程文章

REQUESTS - 相关标签

PYTHON - 相关标签

网络 - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程