python – Pandas – 关于apply函数缓慢的解释
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – Pandas – 关于apply函数缓慢的解释,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2937字,纯文字阅读大概需要5分钟。
内容图文
对于大型数据帧(约1~3百万行),应用函数似乎工作得非常慢.
我在这里检查了相关的问题,比如Speed up Pandas apply function和Counting within pandas apply() function,似乎加速它的最好方法是不使用apply函数:)
对于我的情况,我有两种与apply函数有关的任务.
第一:应用查找字典查询
f(p_id, p_dict):
return p_dict[p_dict['ID'] == p_id]['value']
p_dict = DataFrame(...) # it's another dict works like lookup table
df = df.apply(f, args=(p_dict,))
第二:适用于groupby
f(week_id, min_week_num, p_dict):
return p_dict[(week_id - min_week_num < p_dict['WEEK']) & (p_dict['WEEK'] < week_id)].ix[:,2].mean()
f_partial = partial(f, min_week_num=min_week_num, p_dict=p_dict)
df = map(f, df['WEEK'])
我想对于第一种情况,它可以通过数据帧连接完成,而我不确定这种连接在大型数据集上的资源成本.
我的问题是:
>在上述两种情况下,有没有办法替代申请?
>为什么适用这么慢?对于dict查找案例,我认为它应该是O(N),即使N是100万,也不应该花费那么多.
解决方法:
关于你的第一个问题,我不能确切地说为什么这个例子很慢.但通常,apply不会利用矢量化.此外,apply返回一个新的Series或DataFrame对象,因此对于一个非常大的DataFrame,你有相当大的IO开销(我无法保证在Pandas有大量内部实现优化的情况下,这种情况是100%的情况).
对于您的第一种方法,我假设您尝试使用p_dict作为查找表填充df中的“值”列.使用pd.merge快大约1000倍:
import string, sys
import numpy as np
import pandas as pd
##
# Part 1 - filling a column by a lookup table
##
def f1(col, p_dict):
return [p_dict[p_dict['ID'] == s]['value'].values[0] for s in col]
# Testing
n_size = 1000
np.random.seed(997)
p_dict = pd.DataFrame({'ID': [s for s in string.ascii_uppercase], 'value': np.random.randint(0,n_size, 26)})
df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})
# Apply the f1 method as posted
%timeit -n1 -r5 temp = df.apply(f1, args=(p_dict,))
>>> 1 loops, best of 5: 832 ms per loop
# Using merge
np.random.seed(997)
df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})
%timeit -n1 -r5 temp = pd.merge(df, p_dict, how='inner', left_on='p_id', right_on='ID', copy=False)
>>> 1000 loops, best of 5: 826 μs per loop
关于第二个任务,我们可以快速向p_dict添加一个新列,它计算时间窗口从min_week_num开始的平均值,并在p_dict中该行的一周结束.这要求p_dict按WEEK列的升序排序.然后你可以再次使用pd.merge.
我假设min_week_num在以下示例中为0.但您可以轻松修改rolling_growing_mean以获取不同的值. rolling_growing_mean方法将在O(n)中运行,因为它每次迭代执行固定数量的操作.
n_size = 1000
np.random.seed(997)
p_dict = pd.DataFrame({'WEEK': range(52), 'value': np.random.randint(0, 1000, 52)})
df = pd.DataFrame({'WEEK': np.random.randint(0, 52, n_size)})
def rolling_growing_mean(values):
out = np.empty(len(values))
out[0] = values[0]
# Time window for taking mean grows each step
for i, v in enumerate(values[1:]):
out[i+1] = np.true_divide(out[i]*(i+1) + v, i+2)
return out
p_dict['Means'] = rolling_growing_mean(p_dict['value'])
df_merged = pd.merge(df, p_dict, how='inner', left_on='WEEK', right_on='WEEK')
内容总结
以上是互联网集市为您收集整理的python – Pandas – 关于apply函数缓慢的解释全部内容,希望文章能够帮你解决python – Pandas – 关于apply函数缓慢的解释所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。