寒假学习进度-7（Python爬虫）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了寒假学习进度-7（Python爬虫），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含981字，纯文字阅读大概需要2分钟。

内容图文

1.使用Python自带的urllib爬取一个网页的代码

# -*- coding: UTF-8 -*-

from urllib import request

if __name__ == "__main__":
    response = request.urlopen("https://www.cnblogs.com/")
    html = response.read()
    html = html.decode("utf-8")
    print(html)

通过request的URLopen向https://www.cnblogs.com/发送请求，返回的数据保存在response中

html.decode("utf-8”)对返回的数据进行解码(decode)

通过pip install chardet命令下载chatdet,通过chardet这个第三方库可以自动获取目标网页的编码

# -*- coding: UTF-8 -*-
from urllib import request
import chardet

if __name__ == "__main__":
    response = request.urlopen("https://www.cnblogs.com/")
    html = response.read()
    charset = chardet.detect(html)
    print(charset)

urllib是学习python爬虫需要掌握的最基本的库，它主要包含四个模块：

• urllib.request基本的HTTP请求模块。可以模拟浏览器向目标服务器发送请求。
• urllib.error 异常处理模块。如果出现错误，可以捕捉异常。
• urllib.parse 工具模块。提供URL处理方法, 比如对URL进行编码和解码。
• urllib.robotpaser 用来判断哪些网站可以爬，哪些网站不可以爬。

内容总结

以上是互联网集市为您收集整理的寒假学习进度-7（Python爬虫）全部内容，希望文章能够帮你解决寒假学习进度-7（Python爬虫）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---