python3使用urllib模块制作网络爬虫
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python3使用urllib模块制作网络爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2107字，纯文字阅读大概需要4分钟。
内容图文
urllib
urllib模块是python3的URL处理包
其中：
1、urllib.request主要是打开和阅读urls
个人平时主要用的1：
打开对应的URL：urllib.request.open(url)
用urllib.request.build_opener([handler, ...])，来伪装成对应的浏览器
import urllib
#要伪装成的浏览器(我这个是用的chrome)
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36')
url='http://hotels.ctrip.com/'
opener = urllib.request.build_opener()
#将要伪装成的浏览器添加到对应的http头部
opener.addheaders=[headers]
#读取相应的url
data = opener.open(url).read()
#将获得的html解码为utf-8
data=data.decode('utf-8')
print(data)
2、urllib.parse主要是用来解析url
主要方法：
urllib.parse.urlparse(urlstring)
功能：将对应的URL解析成六部分，并以元组的数据格式返回来。(在功能上和urlsplit()几乎一模一样)
import urllib
o = urllib.parse.urlparse('http://www.cwi.nl:80/%7Eguido/Python.html')
print(o)
print(o.path)
print(o.scheme)
print(o.port)
print(o.geturl())
对应的结果：
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html', params='', query='', fragment='')
/%7Eguido/Python.html
http
80
http://www.cwi.nl:80/%7Eguido/Python.html
2、构建一个新的url——urllib.parse.urljoin(base, url)
参数：base:基本的URL链接
url:另一个url
from urllib.parse import urljoin
a=urljoin('http://www.cwi.nl/%7Eguido/Python.html', 'FAQ.html')
print(a)
结果：http://www.cwi.nl/%7Eguido/FAQ.html
这个函数在爬虫的时候应该方便多了，我之前用的是比较笨的方法直接字符串拼接
3、异常处理 urllib.error
用 try-except来捕捉异常
主要的错误方式就两种 URLError和HTTPError
因为HTTPError是URLError的子类，所以URLError应该写在HttpError后面,说白了就是找到儿子一定知道父亲，找到父亲，不一定知道儿子。
try:
data=urllib.request.urlopen(url)
print(data.read().decode('utf-8'))
except urllib.error.HTTPError as e:
print(e.code)
except urllib.error.URLError as e:
print(e.reason)
结果：[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
如果捕获到了HTTPError，则输出code，不会再处理URLError异常。如果发生的不是HTTPError，则会去捕获URLError异常，输出错误原因
内容总结
以上是互联网集市为您收集整理的python3使用urllib模块制作网络爬虫全部内容，希望文章能够帮你解决python3使用urllib模块制作网络爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。