Python网络爬虫实战(三)照片定位与B站弹幕
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python网络爬虫实战(三)照片定位与B站弹幕，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5031字，纯文字阅读大概需要8分钟。
内容图文
之前两篇已经说完了如何爬取网页以及如何解析其中的数据，那么今天我们就可以开始第一次实战了。
这篇实战包含两个内容。
* 利用爬虫调用Api来解析照片的拍摄位置
* 利用爬虫爬取Bilibili视频中的弹幕
关于爬虫调用Api这一说法，其实就是通过get或者post请求携带着参数，将内容发给对方服务器，服务器会根据请求的Api是哪个来进行处理。
比如说/delete?id=2和/save?id=1&name=antz这两个请求就分别是删除id等于2的数据，保存一条id等于1姓名为antz的数据。
此时我们就只需要向对方服务器发送出这个请求就可以了，requests.get(url)就这么简单。
一.根据照片解析定位
不知道你平常拍照片有没有在你手机的设置里仔细查看过，比如说下面这个选项【地理位置】。
打开它之后，我拍的照片上也没有显示地理位置啊？
这是因为这些数据被放在了照片文件数据里面，可能你很难理解，你可以回想一下之前我们说的get之后的响应，响应体分为响应头和响应体。照片的数据也是一样，有信息头(随便叫的)和数据体，信息头里面有你这张照片的各种信息，拍摄时间地点设备等，而数据体就是你用看图软件打开时显示在你眼中的那些了，我们平常关注到的只有数据体，只关心照片是不是好看，而信息头的内容对我们来说其实无关紧要。
下面是我之前拍的一张照片经过解析获得的信息头数据，从里面可以看到照片尺寸，我的Make设备是HUAWEI，我的镜头数据，时间等等。
在Python中我们可以使用exifread库来解析图片的头信息。
pip install exifread调用exifread的process_file方法，参数传入file，就可以得到照片的exif信息了。
img_exif = exifread.process_file(open("路径", 'rb'))返回的img_exif是一个字典数据，我们可以直接根据上面那张头数据里面的标题来拿到对应的数据。
# 纬度数
latitude_gps = img_exif['GPS GPSLatitude']
# N,S 南北纬方向
latitude_direction = img_exif['GPS GPSLatitudeRef']
# 经度数
longitude_gps = img_exif['GPS GPSLongitude']
# E,W 东西经方向
longitude_direction = img_exif['GPS GPSLongitudeRef'] 这样我们就拿到南北纬以及经纬度了。
那么如何根据这些数据来获得定位呢？
我们可以利用高德地图开放的Api来将经纬度转换为我们能够直接读懂的位置信息。
url = 'https://restapi.amap.com/v3/geocode/regeo?key={}&location={}'上面是高德地图逆向解析定位的api地址，key需要在高德地图官网申请开发者之后拿到(很容易),location就是经纬度南北纬信息了。
resp = requests.get(url.format(api_key, location))
location_data = json.loads(resp.text)
address = location_data.get('regeocode').get('formatted_address')上面的代码是不是已经很简单了，requests.get请求api拿到对方返回的结果，返回的数据的json数据，所以loads解析之后直接拿address即可。
这样我们就可以拿到这张照片的拍摄地点了。
二.Bilibili弹幕爬虫
先来思考一个问题，B站一个视频的弹幕最多会有多少？
比较多的会有2000条吧，这么多数据，B站肯定是不会直接把弹幕和这个视频绑在一起的。
也就是说，有一个视频地址为https://www.bilibili.com/video/av67946325，你如果直接去requests.get这个地址，里面是不会有弹幕的，回想第一篇说到的携程异步加载数据的方式，B站的弹幕也一定是先加载当前视频的界面，然后再异步填充弹幕的。
接下来我们就可以打开火狐浏览器(平常可以火狐谷歌控制台都使用，因为谷歌里面因为插件被拦截下来的包在火狐可以抓到，同理谷歌也是)的控制台来观察网络请求了。
经过仔细排查之后，我找到了一个请求xml的，它后面跟了一个oid，查看它的响应内容之后可以发现它就是弹幕文件。
它的响应时间98毫秒，远超其它几个响应，所以说如果把弹幕直接放在视频页面，用户体验一定会很差。
找到弹幕了，爬取它很容易，但是我们想要是爬取固定av号视频的弹幕，而不是说随意去找一个oid来爬取弹幕，这样我们都不知道爬下来的弹幕是哪个视频的。
接下来我们就可以复制oid的117784982值，去视频页面搜索看看了，通过视频来获得它的oid再来爬xml弹幕就很方便了。
这次用了谷歌浏览器，在里面通过搜索oid果然搜索到相关的数据了。
其中cid是弹幕对应的id，aid对应视频av号。
先把这个页面爬取下来。
# encoding: utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Accept': 'text/html',
'Cookie': "_uuid=1DBA4F96-2E63-8488-DC25-B8623EFF40E773841infoc; buvid3=FE0D3174-E871-4A3E-877C-A4ED86E20523155831infoc; LIVE_BUVID=AUTO8515670521735348; sid=l765gx48; DedeUserID=33717177; DedeUserID__ckMd5=be4de02fd64f0e56; SESSDATA=cf65a5e0%2C1569644183%2Cc4de7381; bili_jct=1e8cdbb5755b4ecd0346761a121650f5; CURRENT_FNVAL=16; stardustvideo=1; rpdid=|(umY))|ukl~0J'ulY~uJm)kJ; UM_distinctid=16ce0e51cf0abc-02da63c2df0b4b-5373e62-1fa400-16ce0e51cf18d8; stardustpgcv=0606; im_notify_type_33717177=0; finger=b3372c5f; CURRENT_QUALITY=112; bp_t_offset_33717177=300203628285382610"
}
resp = requests.get('https://www.bilibili.com/video/av67946325',headers=headers)
print(resp.text)拿到了内容我们就要从中解析弹幕id了，对于这种规则紊乱的网页，我们就不能用上一篇中Bs4解析了，而是使用正则表达式。
正则表达式最简单的使用方式其实就是直接match。
re.search(匹配规则,文本).group()
观察这里的内容，我们大致的匹配规则就有了。
cid={目标}&aid=av号
117784982就是我们的目标。
av_id = '67946325'
resp = requests.get('https://www.bilibili.com/video/av'+av_id,headers=headers)
match_rule = r'cid=(.*?)&aid'
oid = re.search(match_rule,resp.text).group().replace('cid=','').replace('&aid','')
print('oid='+oid)先根据av号拿到视频页面，然后解析视频页面拿到oid，最后用oid去请求xml弹幕文件。
xml_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid='+oid
resp = requests.get(xml_url,headers=headers)
print(resp)这样我们就完成B站弹幕爬虫了。
内容总结
以上是互联网集市为您收集整理的Python网络爬虫实战(三)照片定位与B站弹幕全部内容，希望文章能够帮你解决Python网络爬虫实战(三)照片定位与B站弹幕所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。