首页 / 爬虫 / python爬虫随心所欲地爬取百度图片!
python爬虫随心所欲地爬取百度图片!
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫随心所欲地爬取百度图片!,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2199字,纯文字阅读大概需要4分钟。
内容图文
![python爬虫随心所欲地爬取百度图片!](/upload/InfoBanner/zyjiaocheng/601/701d6670815245f0934b18a298d64a09.jpg)
一、前言
之前爬取了很多静态网页的内容,包括:小说、图片等等,今天我来尝试一下动态网页的爬取。众所周知,百度图片就是一个动态网页。那么,冲!冲!!冲!!!
二、需要导入的库
import requests
import json
import os
三、实现过程
1、下载链接分析
首先,打开百度,搜索一个内容,这里搜索的是男神(本人 )——彭于晏
然后,打开抓包工具,选择XHR选项,按Ctrl+R,然后你会发现,随着你鼠标的滑动,右侧会出现一个又一个的数据包。
(这里没滑动太多,一开始因为滑动太多,录的GIF超5M了)
然后,选一个包,查看它的headers,如图:
截取之后,粘贴在记事本上,作为一个URL,后文会用到。
这里有很多很多的参数,我也不知道具体哪些是可以忽略的,后文就索性全复制下来了,具体看后文。
到这里,能够直接观察到的内容就结束了,接下来,借助代码,帮我们打开另一个世界的大门
冲就完事了!
2、代码分析
首先:把上述中的“其它参数”组在一起。
自己做的话,最好复制自己的“其它参数”。
之后,我们可以先提取一下试试,并且把编码格式改成'utf-8'
url = '百度图片-发现多彩世界
param = {
'tn': 'resultjson_com',
'logid': ' 7517080705015306512',
'ipn': 'rj',
'ct': '201326592',
'is': '',
'fp': 'result',
'queryWord': '彭于晏',
'cl': '2',
'lm': '-1',
'ie': 'utf-8',
'oe': 'utf-8',
'adpicid': '',
'st': '',
'z': '',
'ic': '',
'hd': '',
'latest': '',
'copyright': '',
'word': '彭于晏',
's': '',
'se': '',
'tab': '',
'width': '',
'height': '',
'face': '',
'istype': '',
'qc': '',
'nc': '1',
'fr': '',
'expermode': '',
'force': '',
'cg': 'star',
'pn': '30',
'rn': '30',
'gsm': '1e',
}
# 将编码形式转换为utf-8
response = requests.get(url=url, headers=header, params=param)
response.encoding = 'utf-8'
response = response.text
print(response)
运行结果如下:
看上去挺乱的哈,没事,我们给包装一下!
在上面的基础上加上:
# 把字符串转换成json数据
data_s = json.loads(response)
print(data_s)
运行结果如下:
和上面相比,已经明晰很多了,但依旧不够明确,为什么呢?因为它打印的格式不方便我们观看!
对此,有两种解决办法。
①导入pprint库,接着输入pprint.pprint(data_s),就能打印啦,如下图
②使用json在线解析器(自行百度),结果如下:
解决掉上一步,我们会发现,想要的数据都在data里面!
那么就提取吧!
a = data_s["data"]
for i in range(len(a)-1): # -1是为了去掉上面那个空数据
data = a[i].get("thumbURL", "not exist")
print(data)
结果如下:
到这里,已经成功90%啦,剩下的就是保存和优化代码了!
近期有很多朋友通过私信咨询有关Python学习问题。为便于交流,点击蓝色自己加入讨论解答资源基地
内容总结
以上是互联网集市为您收集整理的python爬虫随心所欲地爬取百度图片!全部内容,希望文章能够帮你解决python爬虫随心所欲地爬取百度图片!所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。