python爬虫教程：《利用Python爬取表情包》
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫教程：《利用Python爬取表情包》，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2078字，纯文字阅读大概需要3分钟。
内容图文
python爬虫教程：《利用Python爬取表情包》，微信没有表情包？不用愁！老师带领你使用多线程爬虫一键爬取20w的表情包~
python爬虫教程：《利用Python爬取表情包》，微信没有表情包？不用愁！老师带领你使用多线程爬虫一键爬取20w的表情包~
python爬虫教程：《利用Python爬取表情包》，微信没有表情包？不用愁！老师带领你使用多线程爬虫一键爬取20w的表情包~
python爬虫教程：《利用Python爬取表情包》，微信没有表情包？不用愁！老师带领你使用多线程爬虫一键爬取20w的表情包~
项目源码：
1
2 '''
3 在学习过程中有什么不懂得可以加我的
4 python学习交流扣扣qun，934109170
5 群里有不错的学习教程、开发工具与电子书籍。
6 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。
7 '''
8 from pyquery import PyQuery as pq
9 import requests
10 from redis import StrictRedis
11 o=0
12 headers={
13 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
14
15 }
16
17
18 def xpan(canshu):
19 try:
20 url = 'https://www.doutula.com/photo/list/?page=' + str(canshu)
21 sp = requests.get(url, headers=headers).text
22
23 doc=pq(sp)
24 item=doc('.col-xs-6 img').items()
25
26 for i in item:
27 cu=i.attr('data-original')
28
29
30
31 #r(cu,'F:/斗图的/%s.jpg'%u)
32 # u+=1
33 #print('当前已保存%d张'%u)
34 #print(cu)
35 redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')
36 redis.sadd('斗图网下载图片的URL', cu)
37
38 except Exception as e:
39
40 print('出现错误',e.args)
41 a=int(input('请问你需要爬取多少页呢:'))
42 print('正在爬取链接并保存到redis数据库中请稍等........')
43 for i in range(a):
44
45 xpan(i+1)
46
47 redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')
48 redis.srem('斗图网下载图片的URL','None')
49 for i in redis.smembers('斗图网下载图片的URL'):
50 t=str(i,encoding='utf8')
51 #print(t)
52 r=t.split('/')[-1]
53 dizhi='F:/斗图/'+r
54 req=requests.get(t)
55 with open(dizhi,'wb')as p:
56 p.write(req.content)
57 print('保存完毕 已保存了%d张'%o)
58 o+=1
内容总结
以上是互联网集市为您收集整理的python爬虫教程：《利用Python爬取表情包》全部内容，希望文章能够帮你解决python爬虫教程：《利用Python爬取表情包》所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。