python利用beautifulSoup实现爬虫
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python利用beautifulSoup实现爬虫,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2024字,纯文字阅读大概需要3分钟。
内容图文
![python利用beautifulSoup实现爬虫](/upload/InfoBanner/zyjiaocheng/434/d2602c32dd894d94b7808dfd574a064f.jpg)
利用 beautifulSoup(文档 :www.crummy.com/software/BeautifulSoup/bs4/doc/)这个python模块,可以很轻松的抓取网页内容
# coding=utf-8 import urllib from bs4 import BeautifulSoup url ='http://www.baidu.com/s' values ={'wd':'网球'} encoded_param = urllib.urlencode(values) full_url = url +'?'+ encoded_param response = urllib.urlopen(full_url) soup =BeautifulSoup(response) alinks = soup.find_all('a')
上面可以抓取百度搜出来结果是网球的记录。
beautifulSoup内置了很多非常有用的方法。
几个比较好用的特性:
构造一个node元素
代码如下:
soup = BeautifulSoup(' Extremely bold ') tag = soup.b type(tag) #
属性可以使用attr拿到,结果是字典
代码如下:
tag.attrs # {u'class': u'boldest'}
或者直接tag.class取属性也可。
也可以自由操作属性
tag['class'] = 'verybold' tag['id'] = 1 tag #Extremely bolddel tag['class'] del tag['id'] tag #Extremely boldtag['class'] # KeyError: 'class' print(tag.get('class')) # None
还可以随便操作,查找dom元素,比如下面的例子
1.构建一份文档
html_doc = """The Dormouse's storyThe Dormouse's storyOnce upon a time there were three little sisters; and their names wereElsie,Lacie andTillie; and they lived at the bottom of a well....""" from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc)
2.各种搞
soup.head #The Dormouse's storysoup.title #The Dormouse's storysoup.body.b # The Dormouse's storysoup.a # Elsiesoup.find_all('a') # [Elsie, # Lacie, # Tillie] head_tag = soup.head head_tag #The Dormouse's storyhead_tag.contents [The Dormouse's story] title_tag = head_tag.contents[0] title_tag #The Dormouse's storytitle_tag.contents # [u'The Dormouse's story'] len(soup.contents) # 1 soup.contents[0].name # u'html' text = title_tag.contents[0] text.contents for child in title_tag.children: print(child) head_tag.contents # [The Dormouse's story] for child in head_tag.descendants: print(child) #The Dormouse's story# The Dormouse's story len(list(soup.children)) # 1 len(list(soup.descendants)) # 25 title_tag.string # u'The Dormouse's story'
内容总结
以上是互联网集市为您收集整理的python利用beautifulSoup实现爬虫全部内容,希望文章能够帮你解决python利用beautifulSoup实现爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。