Python爬虫---requests库快速上手
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python爬虫---requests库快速上手，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2640字，纯文字阅读大概需要4分钟。
内容图文
一、requests库简介
requests是Python的一个HTTP相关的库
requests安装：
pip install requests
二、GET请求
import requests # 首先导入reqeusts模块
res = requests.get( # 使用requests模拟浏览器发送一个get请求
url="https://www.baidu.com", # 指定访问的网址)
# 打印响应内容：网站的源代码print(res.text)
# 打印二进制响应内容;我们在拉取音乐、视频等使用print(res.content)
我们发送get请求时，如果URL参数需要携带参数，那么数据会以键/值对的方式置于URL中，跟在一个问号的后面，例如：ttps://www.baidu.com/s?wd=hello
import
requests
#
get请求，携带参数信息
#
http://httpbin.org/get?key1=value1&key2=value2
payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.text)
你还可以将一个列表作为值传入：
#
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
payload = {‘key1‘: ‘value1‘, ‘key2‘: [‘value2‘, ‘value3‘]}
r = requests.get("http://httpbin.org/get", params=payload)
三、POST请求
通常，如果你想要发送一些编码为表单形式得数据的时候，只需要简单的给request的data传递一个字典即可。你的数据在发送请求时会自动编码为表单形式：
import
requests
payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
# 类似我们的请求体中的数据
r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)
很多时候，你想发送出去的数据并非编码为表单形式，如果你想传输一个json字符串，而不是一个字典，那么数据会被直接发送过去
例如，Github API v3 接受编码为 JSON 的 POST/PATCH 数据：
import
requests
import
json
payload = {‘some‘: ‘data‘}
url = ‘https://api.github.com/some/endpoint‘
r = requests.post(url, data=json.dumps(payload))
print(r.text)
四、requests参数总结
:param method: 请求方法
:param url: 目标地址的URL
:param params: 请求参数：可以是字符串、字节、字典
:param data: 可以是字典、字符串、字节、文件对象，发送的时候会在请求体中携带
:param json: 将json中对应的数据进行序列化成一个字符串，在请求体中发送给服务器，并且Content-Type是 {‘Content-Type‘: ‘application/json‘}
:param headers: 请求头数据
:param cookies: 请求携带的cookie
:param files: 向服务器发送文件数据
:param auth: Auth tuple以启用基本的/摘要/自定义http auth。
:param timeout: 等待服务器响应时间，可以是浮点数
:param allow_redirects: 是否允许自动重定向，True(默认),Flase
:param proxies: 字典映射协议到代理的URL。
:param verify: 控制我们是验证服务器的TLS证书，还是字符串，在这种情况下，它必须是CA包的路径才能使用。默认为“True”。
:param stream: 是否以流的形式读取服务器传来的数据
:param cert: 如果是字符串，则为SSL客户端证书文件(.pem)的路径。如果是元组，(‘cert’，‘key’)对。
五、响应
import
requests
import
json
payload = {‘some‘: ‘data‘}
url = ‘https://api.github.com/some/endpoint‘
r = requests.post(url, data=json.dumps(payload))
# 获取响应头print(r.headers)
print(r.headers[‘Content-Type‘]) # ‘application/json‘print(r.headers.get(‘content-type‘)) # ‘application/json‘# 获取响应cookieprint(r.cookies[‘example_cookie_name‘])
print(r.cookies.get_dict())
# 获取响应体print(r.text)
# 获取响应体(二进制形式)print(r.content)
# 重定向与请求历史print(r.url)
print(r.status_code) # 响应状态码print(r.history)
# json响应内容print(r.json()) # [{u‘repository‘: {u‘open_issues‘: 0, u‘url‘: ‘https://github.com/...
原文：https://www.cnblogs.com/weihengblog/p/9332576.html
内容总结
以上是互联网集市为您收集整理的Python爬虫---requests库快速上手全部内容，希望文章能够帮你解决Python爬虫---requests库快速上手所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。