python网络爬虫(第一章)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python网络爬虫(第一章)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1557字，纯文字阅读大概需要3分钟。

内容图文

python网络爬虫(第一章)

（内容来自于O’Reilly(人民邮电出版社)的《Python网络爬虫权威指南》此博客仅用于记录学习，方便以后使用）

代码：

from urllib.request import urlopen
from urllib.error import HTTPError
from urllib.error import URLError
from bs4 import BeautifulSoup

def getTitle(url):
    try:
        html = urlopen(url)
    except HTTPError as e:
        return None
    try:
        bs = BeautifulSoup(html.read(), 'html.parser')
        title = bs.body.h1
    except AttributeError as e:
        return None
    return title

title = getTitle('http://www.pythonscraping.com/pages/page1.html')
if title == None:
    print('Title could not be found!')
else:
    print(title)

解释：

1、urllib是python的标准库，包含了从网页请求数据，处理cookie，甚至改变请求头和用户代理这些元数据的函数。urlopen用来打开并读取一个从网络获取的远程对象（可以轻松获取HTML文件、图像文件或其他任何文件流）

from url lib.request import url open

html = urlopen(‘http://pythonscraping.com/pages/page1.html')
print(html.read())

2、BeautifulSoup库：
可以将HTML内容传到BeautifulSoup对象

bs = BeautifulSoup(html.read(), ‘html.parser’)
#第一个参数是该对象所基于的HTML文本，第二个参数指定了你希望BeautifulSoup用来创建该对象的解析器。可供选择的解析器有’html.parser’、’lxml'、 #'html5lib'

3、异常处理
需要引入的标准库：
urllib.error

from urllib.error import HTTPError
#HTTP错误，网页在服务器上不存在（或者获取页面的时候出现错误）
from urllib.error import URLError
#服务器不存在

使用try + except的方式进行处理
调用None对象下面的字标签，会发生AttributeError错误
具体代码可以看本文最前面的综合代码

• 点赞
• 收藏
• 分享
• • 文章举报

ZzMeei 发布了24 篇原创文章 · 获赞 3 · 访问量 1492 私信 关注

内容总结

以上是互联网集市为您收集整理的python网络爬虫(第一章)全部内容，希望文章能够帮你解决python网络爬虫(第一章)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---