首页 / 爬虫 / python 网络爬虫(二)
python 网络爬虫(二)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python 网络爬虫(二),小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2341字,纯文字阅读大概需要4分钟。
内容图文
![python 网络爬虫(二)](/upload/InfoBanner/zyjiaocheng/828/06e35e79aec14914870af3fbdffe87d3.jpg)
一、编写第一个网络爬虫
为了抓取网站,我们需要下载含有感兴趣的网页,该过程一般被称为爬取(crawling)。爬取一个网站有多种方法,而选择哪种方法更加合适,则取决于目标网站的结构。
首先探讨如何安全的下载网页,让后介绍3中爬去网站的常见方法:
-- 爬取网站地图;
-- 遍历每个网页的数据库 ID;
-- 跟踪网页链接;
1、下载网页
要想爬取网页,我们首先将其下载下来。下面的实例脚本使用 Python 的 urllib2 模块下载 URL:
import urllib2 def download(url): return urllib2.urlopen(url).read()
当传入 URL 参数时,该函数将会下载网页并返回其 HTML 。不过,这个代码片段存在一个问题,即当下载网页时,饿哦们可能会遇到一些无法控制的错误,比如请求的页面可能不存在,此时,urllib2 会抛出异常,然后退出脚本。安全起见,下面给出一个更健壮的版本,可以捕获这些异常:
import urllib2 def download(url): print('Downloading:', url) try: html = urllib2.urlopen(url).read() except urllib2.URLError as e: print('Download error:', e.reason) html = None return html
现在,当出现下载错误是,该函数能够捕获异常,然后返回 None。
当 download 函数遇到 5xx 错误码时,将会递归调用函数自身进行重试。
import urllib2 def download(url, num_retries = 2): print('Downloading:', url) try: html = urllib2.urlopen(url).read() except urllib2.URLError as e: print('Download error:', e.reason) html = None if num_retries > 0: if hasattr(e, 'code') and 500 <= e.code < 00: return download(url, num_retries - 1)
此外,该函数还增加了一个参数,用于设定重试下载的次数,其默认值为两次。
2、设置用户代理
默认情况下,urllib2 使用 Python-urllib/2.7 作为用户下载网页内容,其中 2.7 是 python的版本号,如果能使用可辨别的用户代理则更好。这样可以避免爬虫遇到的一些问题。此外,也许是因为曾经经历过质量不佳的Python网络爬虫造成的服务器过载,一些网站还会封禁这个默认的用户代理。
因此,为了下载更可考,我们需要控制用户代理的设定。下面代码对 download 函数进行了修改。设定了一个默认的用户代理 “wswp”(即 We Scraping with Python 的手字母缩写)
import urllib2 def download(url, user_agent = 'wswp', num_retries = 2): print('Downloading :', url) headers = {'User-agent':user_agent} request = urllib2.Request(url, headers = headers) try: html = urllib2.urlopen(request).read() except urllib2.URLError as e: print('Download error:', e.reason) html = None if num_retries > 0: if hasattr(e, 'code') and 500 <= e.code < 600: return download(url, user_agent, num_retries - 1) return html
现在我们拥有一个灵活的下载函数,该函数能够捕获异常,重试下载并设置了用户代理。
内容总结
以上是互联网集市为您收集整理的python 网络爬虫(二)全部内容,希望文章能够帮你解决python 网络爬虫(二)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。