Forward团队-爬虫豆瓣top250项目-模块开发过程
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Forward团队-爬虫豆瓣top250项目-模块开发过程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1602字，纯文字阅读大概需要3分钟。
内容图文
项目托管平台地址:https://github.com/xyhcq/top250
我负责将爬取到的信息写入到文件中。
首先，先打开一个文件
# 打开文件
f=open("top250.txt","w")
然后在别的队员写的能够爬取出信息的代码上，加入将信息写入文件的的代码
def getData(html):
# 分析代码信息，提取数据
soup = BeautifulSoup(html, "html.parser")
# 找到第一个class属性值为grid_view的ol标签
movieList=soup.find(‘ol‘,attrs={‘class‘:‘grid_view‘})
# 找到所有的li标签
for movieLi in movieList.find_all(‘li‘):
# 找到第一个class属性值为hd的div标签
movieHd=movieLi.find(‘div‘,attrs={‘class‘:‘hd‘})
# 找到第一个class属性值为title的span标签 #也可使用.string方法
# 获取电影名字
movieName=movieHd.find(‘span‘,attrs={‘class‘:‘title‘}).getText()
print movieName
f.write(‘电影名:‘+movieName.encode(‘utf-8‘)+‘ ‘)
# 获取电影链接
movieUrl=movieHd.find(‘a class="" href="‘)
print movieUrl
# 写入文件
f.write(‘链接:‘+str(movieUrl)+‘ ‘)
# 获取电影导演/演员
movieBd = movieLi.find(‘div‘, attrs={‘class‘: ‘bd‘})
movieSF=movieBd.find(‘p‘,attrs={‘class‘:‘‘}).getText()
print movieSF
# 写入文件
f.write(‘Staff:‘+movieSF.encode(‘utf-8‘)+‘ ‘)
# 获取电影的评分
movieScore=movieLi.find(‘span‘,attrs={‘class‘:‘rating_num‘}).getText()
print movieScore
# 写入文件
f.write(‘评分:‘+movieScore.encode(‘utf-8‘)+‘ ‘)
#获取电影的评论数
movieEval=movieLi.find(‘div‘,attrs={‘class‘:‘star‘})
movieEvalNum=re.findall(r‘\d+‘,str(movieEval))[-1]
print movieEvalNum
f.write(‘评论数:‘+movieEvalNum.encode(‘utf-8‘)+‘ ‘)
# 获取电影短评
movieQuote = movieLi.find(‘span‘, attrs={‘class‘: ‘inq‘})
# 有的电影没有短评，为防止报错，加次
if(movieQuote):
print movieQuote.getText()
# 写入文件
f.write(‘短评:‘+movieQuote.getText().encode(‘utf-8‘)+‘\n‘)
else:
# 写入文件
f.write(‘短评:‘+"这个电影没有短评"+‘\n‘)
最后还要注意，写入完成后如果不闭文件会导致文件写入不全。
# 关闭文件，否则容易写入不全 f.close()
原文：http://www.cnblogs.com/kasumis/p/7780389.html
内容总结
以上是互联网集市为您收集整理的Forward团队-爬虫豆瓣top250项目-模块开发过程全部内容，希望文章能够帮你解决Forward团队-爬虫豆瓣top250项目-模块开发过程所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。