python爬虫（八） requests库之 get请求

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫（八） requests库之 get请求，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1060字，纯文字阅读大概需要2分钟。

内容图文

requests库比urllib库更加方便，包含了很多功能。

1、在使用之前需要先安装pip，在pycharm中打开：

 

 

 写入pip install requests命令，即可下载

在github中有关于requests库的介绍，网址：https://github.com/requests/requests

 

2、Get请求

response=requests.get("https://www.baidu.com/")

我们要完成在百度的页面获取中国的相关信息，相当于

 

 输入中国：

 

 用爬虫代码实验实现：

import requests

# wd是在网址中后面的一段
params={
    'wd':'中国'
}

headers={
    'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
# 这时我们要在这个网址中加入S
response=requests.get("http://www.baidu.com/s",params=params,headers=headers)

with open('baidu.html','w',encoding='utf-8') as fp:
    fp.write(response.content.decode('utf-8'))

 

 打开后就是中国的相关信息：

 

 

3、response.txt和response.content的区别

response.txt是 requests是经response.content解码的字符串，requests会根据自己的猜测来进行解码，有时候会猜测错误，导致乱码。

response.content是直接从网上爬取的数据，没有经过经过任何解码，是bytes类型。

所以最常用的就是：response.content.decode('utf-8')

内容总结

以上是互联网集市为您收集整理的python爬虫（八） requests库之 get请求全部内容，希望文章能够帮你解决python爬虫（八） requests库之 get请求所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---