【python数据分析】国产烂片深度揭秘（2）——什么题材的电影烂片最多？
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了【python数据分析】国产烂片深度揭秘（2）——什么题材的电影烂片最多？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6303字，纯文字阅读大概需要10分钟。
内容图文
要求：
① 按照“类型”字段分类，筛选不同电影属于什么题材
② 整理数据，按照“题材”汇总，查看不同题材的烂片比例，并选取TOP20
③ 将得到的题材烂片比例TOP20制作散点图 → 横坐标为“题材”类型，纵坐标为烂片比例，点大小为样本数量
** 用bokeh制图
** 按照烂片比例做降序排列
提示：
① 删除“类型”字段空值的数据
② 由于一个电影“类型”会有多个，这里需要将一个电影每个“类型”都识别出来，在统计某个题材时都需要计算，例如：
如果一个电影的类型为：“喜剧/爱情”，则在计算“喜剧”、“爱情”题材的烂片比例时，都需要将该电影算上
③ 注意类型字段中，要删除空格字符
④ bokeh图设置点大小，这里通过开方减小数据差距 → size = count**0.5*系数
1 前期准备
import os
os.chdir(r'C:\Users\86177\Desktop')
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline
from bokeh.models import ColumnDataSource,HoverTool
from bokeh.plotting import figure,show,output_file
导入相关的库和设置程序运行路径，并对部分警报信息进行忽视处理，设置图形在notebook内直接显示（%matplotlib inline）
2 筛选数据
这个目标是找出什么不同题材的烂片，数据就涉及到两列，一列是豆瓣评分，用来判断是否为烂片，这一步在上一篇文章中已经处理过了，生成的数据为data；还有一列就是电影类型，用来分辨是哪种题材。因此这里要在data数据上进行电影‘类型’这里类的缺失值处理，最终获得目标数据
2.1 查看电影‘类型’数据
data_load = pd.read_excel('moviedata.xlsx')
data = data_load[data_load['豆瓣评分'] >0]
data['类型']
–> 输出结果为：
根据提示可知，‘类型‘里面的内容字段包含了空格和/字符以及缺失值等内容
2.2 缺失值和符号处理
对于遍历循环来说，要处理大量数据之前可以先进行试错
data[data['类型'].isnull() == False]['类型'][0].strip().split(' / ')
–> 输出结果为： [‘剧情’, ‘儿童’]
typelst = [x for x in data[data['类型'].isnull() == False]['类型'].str.strip().str.split(' / ')]
typelst
–> 输出结果为：
直接使用列表推导式，没有办法将数据生成我想要的样子，因此还是要按照原来简单的方式进行操作，只能拆开分布运行了，下面的代码可以充分的展示.append()和.extend()方法之间的区别
typelst = []
for x in data[data['类型'].isnull() == False]['类型'].str.strip().str.split(' / '):
#typelst.append(x) 如果是append的话，那么这三条语句就相当于上面的一条语句
typelst.extend(x)#这里就体现出了append和expend的区别
typelst = list(set(typelst))
print('电影类型一共有{}种,分别为：\n\n{}'.format(len(typelst),typelst))
–> 输出结果为：
电影类型一共有35种,分别为：
[‘音乐’, ‘鬼怪’, ‘喜剧’, ‘运动’, ‘犯罪’, ‘动作’, ‘古装’, ‘短片’, ‘悬疑’, ‘冒险’, ‘戏曲’, ‘News’, ‘传记’, ‘恐怖’, ‘情色’, ‘舞台艺术’, ‘武侠’, ‘科幻’, ‘惊悚’, ‘历史’, ‘歌舞’, ‘脱口秀’, ‘灾难’, ‘剧情’, ‘黑色电影’, ‘家庭’, ‘儿童’, ‘同性’, ‘爱情’, ‘战争’, ‘奇幻’, ‘动画’, ‘真人秀’, ‘西部’, ‘纪录片’]
2.3（1）烂片中不同类型题材的电影数量和比例
这里注意一下（1）的标题和（2）的标题的不同，关于烂片的数据，上一篇文章已经完成了data_lp,这里就不再写入代码了，直接查看data_lp的数据内容
data_lp
–> 输出结果为：
2.2获取的是全部电影的所有类型，但是对于data_lp来说，上一篇文章中只进行了烂片情况的判断，并没有进行烂片中电影类型缺失值的处理，因此要确定烂片中的数据类型，要先处理一下data_lp里面的缺失值，代码和上面的操作类似
data_lp['类型'].isna().sum()
#发现一共存在31个缺失值，那么处理后的数据应该就是515
–> 输出结果为：31
data_lp = data_lp[data_lp['类型'].notnull()].set_index(np.arange(515))
data_lp
–> 输出结果为：
数据筛选完成后，按照三步进行烂片top20的数据输出，这里封装三个函数lp_one_info()、lp_info()、lp_top_20()
def lp_one_info(data,type_i):
dic = {}
dic['lp_name'] = type_i
dic['lp_num'] = len(data[data['类型'].str.contains(type_i)])
dic['lp_rate'] ='{:.2f}%'.format(len(data[data['类型'].str.contains(type_i)])/len(data)*100)
return dic
lp_one_info()函数是为了实现lp_info()的功能而创建的，也是在试错的前提下对一个数据进行的试验，type_i就是typelst里面的某一个数据，具体举例如下
lp_one_info(data_lp,typelst[0])
–> 输出结果为： {‘lp_name’: ‘真人秀’, ‘lp_num’: 0, ‘lp_rate’: ‘0.00%’}
def lp_info(data,ls):
lp_ls = []
for type_i in ls:
lp_ls.append(lp_one_info(data_lp, type_i))
return(lp_ls)
lp_info()函数的功能就是对于typelst里面的每条数据进行逐条输出并保存在列表里面，运行结果如下
lp_info(data_lp,typelst)
–> 输出结果为：
def lp_top_20(lp_ls):
df_lp= pd.DataFrame(lp_ls)
df_lp.sort_values(by='lp_num',inplace = True,ascending = False)
df_lp_20 = df_lp[:20].set_index(np.arange(1,21))
return df_lp_20
lp_top_20()函数的功能是直接返回烂片数据类型的前20，运行代码如下
lp_top_20(lp_info(data_lp,typelst))
–> 输出结果为：
2.3（2）不同类型电影题材的烂片数量及比例
仔细思考一下，那种题材电影容易出烂片，可以得出这个结论的前提就是：各种题材的烂片在全部数据data之间的占比的大小，占比越多越是倾向烂片，而不是与局部样本data_lp中对比,因此只要对函数lp_one_info()进行部分代码修改即可，这也是封装函数的便捷性,最后把第三个函数进行了拆分，后面的操作还会使用，觉得还是不封装三个函数比较方便
def lp_one_info(data,type_i):
dic = {}
data_i = data[data['类型'].str.contains(type_i)]
data_lp = data_i[data_i['豆瓣评分'] < 4.3]
dic['lp_name'] = type_i
dic['lp_num'] = len(data_lp)
dic['type_num'] = len(data_i)
#dic['lp_rate'] ='{:.2f}'.format(len(data_lp)/len(data_i)) 这就是最后bokeh制图时候不出图的原因，不可以进行格式化
dic['lp_rate'] =len(data_lp)/len(data_i)
return dic
def lp_top_20(data,ls):
lp_ls = []
for type_i in ls:
lp_ls.append(lp_one_info(data, type_i))
return lp_ls
df_lp= pd.DataFrame(lp_top_20(data,typelst))
df_lp.sort_values(by='lp_rate',inplace = True,ascending = False)
df_lp_20 = df_lp[:20].set_index(np.arange(1,21))
df_lp_20
#对于最终生成DataFrame的数据，尽量不用函数
–> 输出结果为：
4 Bokeh制图
df_lp_20["size"] = df_lp_20['type_num']**0.5*2
#设置点的大小
source = ColumnDataSource(df_lp_20)
ls_type = df_lp_20['lp_name'].tolist()
hover = HoverTool(tooltips = [("数据量","@type_num"),
("烂片比例","@lp_rate")])
output_file("1.html")
p = figure(x_range = ls_type, plot_width = 900, plot_height = 500, title = "不同题材电影的烂片比例",
tools = [hover, 'reset, xwheel_zoom, pan, crosshair, box_select'])
p.circle(x = 'lp_name', y ="lp_rate",source = source, size = "size", line_color = "black",
line_dash = [6,4], fill_color = "red",fill_alpha = 0.5)
show(p)
#为什么当y='lp_rate'一直输出空白，然而当y=lp_num或者y=type_num时都有图形输出，调试了半天，最终的结果在def lp_one_info（）函数里面，lp_rate的结果
#不能格式化输出，否则无法识别
–> 输出结果为：
内容总结
以上是互联网集市为您收集整理的【python数据分析】国产烂片深度揭秘（2）——什么题材的电影烂片最多？全部内容，希望文章能够帮你解决【python数据分析】国产烂片深度揭秘（2）——什么题材的电影烂片最多？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。