Python : 爬虫--BeautifulSoup

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python : 爬虫--BeautifulSoup，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含860字，纯文字阅读大概需要2分钟。

内容图文

BeautifulSoup 从 HTML 或 XML 文件中提取数据。首先需要使用命令行来进行安装：

pip install bs4

在使用的时候需要导入：

from bs4 import BeautifulSoup

例如使用 BeautifulSoup 获取博客主页文章的标题，代码和注释如下：

import requests
from bs4 import BeautifulSoup

link = ‘http://www.santostang.com/’
headers = {‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36’}
r = requests.get(link, headers=headers)

将网页响应体的字符串转换为soup对象

soup = BeautifulSoup(r.text, ‘html.parser’)
first_title = soup.find(‘h1’, class_=‘post-title’).a.text.strip()
print(‘第一篇文章的标题是：’, first_title)

title_list = soup.find_all(‘h1’, class_=‘post-title’)

for i in range(len(title_list)):
title = title_list[i].a.text.strip()

print('第 %s 篇文章的标题是： %s' % (i+1, title))

内容总结

以上是互联网集市为您收集整理的Python : 爬虫--BeautifulSoup全部内容，希望文章能够帮你解决Python : 爬虫--BeautifulSoup所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---