python-网络安全编程第五天(爬虫模块BeautifulSoup)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python-网络安全编程第五天(爬虫模块BeautifulSoup),小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1565字,纯文字阅读大概需要3分钟。
内容图文
![python-网络安全编程第五天(爬虫模块BeautifulSoup)](/upload/InfoBanner/zyjiaocheng/646/303c9b35a4de4c22b771af428b5f0aca.jpg)
前言
昨晚学的有点晚 睡得很晚了,今天早上10点多起来吃完饭看了会电视剧就瞌睡了一直睡到12.50多起来洗漱给我弟去开家长会 开到快4点多才回家。耽搁了不少学习时间,现在就把今天所学的内容总结下吧。
BeautifulSoup模块介绍
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
使用方法流程
1.解析内容
from bs4 import BeautifulSoup
soup=beautifulSoup(html_doc)
2.浏览数据
soup.title
soup.title.string
3.BeautifulSoup正则使用
soup.find_all(name='x',attrs={'xx':re.compile('xxx')})
name 代表标签
attrs 标签内东西
基本使用
1.标签选择
print(soup.title)
2.获取名称
soup.title.name
3.获取内容
print(soup.p.string)
4.嵌套选择
print(soup.head.title.string)
演示eg:
1 爬取某度传课课程的名称 2 import requests 3 from bs4 import BeautifulSoup 4 5 url="https://chuanke.moudu.com/course/72351163642544128_____.html" 6 7 r=requests.get(url) 8 soup=BeautifulSoup(r.content,'lxml')#选择lxml解析器
9 10 title_all=soup.find_all(name='div',attrs={'class':'item-title'}) 11 for title in title_all: 12 print(title.a.string)
1 爬取某度传课课程的名称(配合正则表达式精确爬虫) 2 import requests 3 from bs4 import BeautifulSoup 4 import re 5 6 url="https://chuanke.moudu.com/course/72351163642544128_____.html" 7 8 r=requests.get(url) 9 soup=BeautifulSoup(r.content,'lxml') #选择lxml解析器 10 11 title_all=soup.find_all(name='a',attrs={'href':re.compile('//chuanke.moudu.com/\d*-\d*.html')}) 12 for title in title_all: 13 print(title.string)
参考学习
https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id13 beautifulsoup中文手册
内容总结
以上是互联网集市为您收集整理的python-网络安全编程第五天(爬虫模块BeautifulSoup)全部内容,希望文章能够帮你解决python-网络安全编程第五天(爬虫模块BeautifulSoup)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。