python爬虫模块理解

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫模块理解，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1389字，纯文字阅读大概需要2分钟。

内容图文

Url管理器：

　　用来管理要抓取的url和已抓取的url,防止重复抓取和循环抓取，url管理器的五个最小功能:

　　　　1、添加url到容器中

　　　　2、获取一个url

　　　　3、判断url是否已在容器中

　　　　4、判断是否还有待爬取的url

　　　　5、将待爬取的url移到已爬取的url

网页下载器：

　　网页下载器是爬虫的核心组件，它将url对应的互联网网页已html的形式保存在本地。目前有两种网页下载器，1：urllib2(python基础模块) 2:requests（第三库）

　　urllib2三种下载网页的方法：

　　　　1、简单方式下载

　　　　2、添加data和http header

　　　　3、添加特殊场景的处理器

import http.cookiejar
import urllib.request

url = "http://www.baidu.com"

print("one")
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print (len(response1.read()))

print("two")
request = urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print (len(response2.read()))

print("three")
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(response3.read())

网页解析器：

　　从网页中提取有价值数据的工具，常用的网页解析器有以下三种，1、正则表达式，2、html.parser（自带的模块），3、beautiful Soup(第三方的插件)，4、lxml；前面一种是基于字符串的解析，后面的三种是基于一种机构化的解析（DOM）。

response1 = urllib.request.urlopen(url)
print(response1.getcode())
print (len(response1.read()))

内容总结

以上是互联网集市为您收集整理的python爬虫模块理解全部内容，希望文章能够帮你解决python爬虫模块理解所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---