Python 网络爬虫知识点

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python 网络爬虫知识点，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2704字，纯文字阅读大概需要4分钟。

内容图文

一、Requests入门

（一）Requests库的安装

1. 安装Requests库：“以管理员身份运行”cmd，执行 pip install requests
2. pip 是一个现代的，通用的 Python包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。
3. Requests 库安装小测：status_code为200表示返回成功

   >>> import requests
   >>> r =requests.get("http://www.baidu.com")
   >>> print(r.status_code)
   200

（二）Requests库的7个主要方法

requests.request() 构造一个请求，支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法，对应于HTTP的GET
requests.head() 获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求，对应于HTTP的DELETE

 

Requests.get() 构造一个向服务器请求资源的Request对象，返回一个包含服务器资源的Response对象

requests.get(url, params=None, **kwargs)
? url : 拟获取页面的url链接
? params : url中的额外参数，字典或字节流格式，可选
? **kwargs: 12个控制访问的参数

 （三）Response对象的属性

r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败
r.text HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）
r.content HTTP响应内容的二进制形式

（四）Requests的异常

requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数，产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时，产生超时异常

可以使用 如下框架

try
   r = requests.get(url,timeout=30)
   r=raise_for_status()
   r.encoding = r.apparent_encoding
   return t.text
except：
   return "产生异常"

   (五)实际操作中的具体问题          

1. 一些网站对网络爬虫进行限制：（1） 来源审查：判断来访的HTTP协议头的User-Agent域进行限制（2）发布公告：Robots协议，要求爬虫遵守（可以忽略，不过不要进行商业牟利，或者大量数据的下载，占用服务器资源），公告于网站根目录下的robots.txt
2. encoding中的编码形式可能会不正确，因为它只分析了头部，得出的编码类型，而apparent_encoding是分析了页面得出的编码类型，相对来说，比较准确，所以可以使用r.encoding = r.apparent_encoding语句来改变其译码方式，从而可以调用r.text()获得正确编译完的页面内容
3. 实际操作中，获取到的页面内容可能过多，导致调用text()函数时IDLE奔溃，所以可以使用r.text[:1000]来获取前1000个字符，或者使用r.text[:-1000]来获得其最后1000个字符
4. 遇到来源审查的网站，使用   r.request.headers["user-agent"]="Mozilla/5.0"  语句将 header中的user-agent改成 Mozilla/5.0（大多数浏览器都Mozilla/5.0字样），或在获取语句中直接使用r = requests .get(url,headers = {'user-agent' : 'Mozilla/5.0'})语句
5. 图片的读取：

内容总结

以上是互联网集市为您收集整理的Python 网络爬虫知识点全部内容，希望文章能够帮你解决Python 网络爬虫知识点所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---