Python获取B站视频弹幕 简单处理
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python获取B站视频弹幕 简单处理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2985字，纯文字阅读大概需要5分钟。
内容图文
B站弹幕
概述
之前看到了网上有人做过一些up的B站弹幕数据可视化，感觉还挺有意思，于是自己就动手做着玩了一下（没有做可视化）。祝福武汉，祝福中国！
项目实现
（1）获取弹幕数据，我本来想着是获取某一个up的全部视频的弹幕数据，后来发现了一个问题：弹幕数据是存在JSON或者XMl中的。数据依靠一个id号标识，我本以为就是视频的av号，结果查看元素后却发现不是。参考了网上的一些文档发现弹幕数据存储在一个url中，因此只需要获取这个网址中的内容即可。
（2）获取数据，就采用爬虫惯用的requests模块即可
（3）解析数据
（4）数据持久化以及数据简单处理
初始化
首先初始化一些下面需要使用的基本参数
def __init__(self):
self.headers = {
# 自己添加自己的即可
}
self.base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid={}'
self.url = ''
self.barrage_result = []
self.danmu = []
self.danmu_count = []
初始化自己的headers，以及初始化一个基础的url。然后初始化几个下面要用的参数。
获取网页
获取网页信息，并将数据存储到本地
# 获取信息
def get_page(self):
# 延时操作，防止太快爬取
time.sleep(0.5)
response = requests.get(self.url, headers=self.headers)
with open('bilibili.xml', 'wb') as f:
f.write(response.content解析数据
解析网页，将所有弹幕信息存储在danmu列表中
# 解析网页 将所有弹幕信息存储在danmu列表中
def param_page(self):
time.sleep(1)
if self.barrage_result:
# 文件路径，html解析器
html = etree.parse('bilibili.xml', etree.HTMLParser())
# xpath解析，获取当前所有的d标签下的所有文本内容
results = html.xpath('//d//text()')
# 将去重后的弹幕存储起来
for one in results:
self.danmu.append(one)
print('总的实时弹幕数量：', len(self.danmu))数据持久化
对获取到的数据进行简单处理，并持久化，由于后期还有其他的操作，因此我存了两种形式。
# 对获取的弹幕数据进行简单处理
def ana_result(self):
print('开始处理弹幕')
for one_danmu in self.danmu:
if one_danmu not in self.danmu_count:
self.danmu_count.append(one_danmu)
print('弹幕去重后数量为：', len(self.danmu_count))
with open('tanmu.txt', 'w', encoding='utf-8') as f:
for danmu in self.danmu_count:
# 数量的统计
amount = self.danmu.count(danmu)
f.write(danmu + ':' + str(amount) + '\n')
book = xlwt.Workbook(encoding='utf-8-sig', style_compression=0)
sheet = book.add_sheet('B站部分视频弹幕', cell_overwrite_ok=True)
sheet.write(0, 0, '弹幕内容')
sheet.write(0, 1, '弹幕出现次数')
n = 1
for danmu in self.danmu_count:
amount = self.danmu.count(danmu)
sheet.write(n, 0, danmu)
sheet.write(n, 1, amount)
n = n + 1
book.save(u'B站部分视频弹幕.xls')
一般而言数据持久化之后也就结束了，不过为了后面一些操作，在此处我又做的一个某关键字弹幕计数的功能
# 对含有某关键字的弹幕计数
def key_count(self, key):
value = key
pattern = '.*' + value + '.*'
tempList = []
for one in self.danmu:
obj = re.findall(pattern, one)
if len(obj) > 0:
tempList.extend(obj)
print('弹幕中含有', key, '的弹幕数量为：', len(tempList))
整个爬虫我用以下程序段调用。
def run(self):
for i in range(145134329, 145144329):
self.get_url(i)
self.barrage_result = self.get_page()
self.param_page()
self.key_count('武汉加油')
self.key_count('武汉')
self.ana_result()
在range中填写一个oid列表，遍历这个列表去抓取弹幕数据。如果没有已知oid列表可以像我上面的方法去遍历。
运行时界面如下。
内容总结
以上是互联网集市为您收集整理的Python获取B站视频弹幕 简单处理全部内容，希望文章能够帮你解决Python获取B站视频弹幕 简单处理所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。