首页 / 爬虫 / Python-爬虫-基本库（requests）使用-抓取猫眼电影Too100榜

Python-爬虫-基本库（requests）使用-抓取猫眼电影Too100榜

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python-爬虫-基本库（requests）使用-抓取猫眼电影Too100榜，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1344字，纯文字阅读大概需要2分钟。

内容图文

             1
            #
            抓取猫眼电影，https://maoyan.com/board/4 榜单电影列表
             2
            import
             requests

             3
            import
             re

             4
            from  requests.auth import HTTPBasicAuth
 5 6#定义爬虫工具类 7class SpiderTools():
 8def__init__(self):
 9         super(SpiderTools, self).__init__()
10#抓取首页信息11def load_onePage(self,url):
12         self.headers={
13‘Host‘:‘maoyan.com‘,
14‘Accept‘:‘text / html, application / xhtml + xml, * / *‘,
15‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0‘16        }
17         res=requests.get(url,headers=self.headers)
18#print(res.text)19#解析获取电影名称排行，名称，图片地址，主演，上映时间20         pattern=re.compile(‘<dd>.*?board-index.*?>(.*?)</i>.*?<p class="name".*?><a.*?>(.*?)</a>.*?<img data-src="(.*?)".*?>.*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>‘,re.S)
21         result=re.findall(pattern,res.text)
22#将数据创建字典23#print(result0)24         items=[]
25for i in result:
26             dict={
27"order":i[0],
28"name":i[1],
29"imageURL":i[2],
30"auth":i[3].strip(),#strip去掉前后换行符合空格31"time":i[4]
32            }
33            items.append(dict)
34return items
35363738if__name__=="__main__":
39     spider=SpiderTools()
40     i=0
41while True:
42         items = spider.load_onePage(‘https://maoyan.com/board/4?offset=%d‘%(i))
43         i=i+10
44ifnot len(items):
45break;
46print(i,items)

技术分享图片

 

原文：https://www.cnblogs.com/ygzhaof/p/10192030.html

内容总结

以上是互联网集市为您收集整理的Python-爬虫-基本库（requests）使用-抓取猫眼电影Too100榜全部内容，希望文章能够帮你解决Python-爬虫-基本库（requests）使用-抓取猫眼电影Too100榜所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1178640.html

来源：【匿名】