python爬虫第6关之存储电影信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫第6关之存储电影信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1080字，纯文字阅读大概需要2分钟。

内容图文

问题需求就是把豆瓣TOP250里面的 序号/电影名/评分/推荐语/链接 都爬取下来，结果是存储在csv和Excel中

import requests
from bs4 import BeautifulSoup
import openpyxl
import csv

wb=openpyxl.Workbook()
sheet=wb.active
sheet.title='movies'
sheet['A1']='序号'
sheet['B1']='电影名'
sheet['C1']='评分'
sheet['D1']='推荐语'
sheet['E1']='电影链接'

csv_file=open('movies.csv','w',newline='',encoding='gbk')
writer=csv.writer(csv_file)
writer.writerow(['序号','电影名','评分','推荐语','电影链接'])

for i in range(0,250,25):
    res=requests.get('https://movie.douban.com/top250?start={}'.format(i))
    html=res.text 
    soup=BeautifulSoup(html,'html.parser')
    items=soup.find_all('div',class_="item")

    for item in items:
        num=item.find("em").text
        name=item.find(class_="title").text
        rating=item.find(class_="rating_num").text
        try:
                commend=item.find(class_='inq').text
        except AttributeError:
                commend=''
        href=item.find(class_="hd").find('a')['href']
        sheet.append([num,name,rating,commend,href])
        writer.writerow([num,name,rating,commend,href])
wb.save('movies.xlsx')
csv_file.close()
        

Mac的encoding是’gbk’，其他系统可能是’utf-8’

内容总结

以上是互联网集市为您收集整理的python爬虫第6关之存储电影信息全部内容，希望文章能够帮你解决python爬虫第6关之存储电影信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---