python-按天过滤熊猫数据框

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python-按天过滤熊猫数据框，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1515字，纯文字阅读大概需要3分钟。

内容图文

我有一个熊猫数据框,其中包含以分钟为单位的外汇数据,为期一年(371635行)：

                           O        H        L        C
0                                                      
2017-01-02 02:00:00  1.05155  1.05197  1.05155  1.05190
2017-01-02 02:01:00  1.05209  1.05209  1.05177  1.05179
2017-01-02 02:02:00  1.05177  1.05198  1.05177  1.05178
2017-01-02 02:03:00  1.05188  1.05200  1.05188  1.05200
2017-01-02 02:04:00  1.05196  1.05204  1.05196  1.05203

我想过滤每日数据以获取一个小时范围：

dt = datetime(2017,1,1)
df_day = df1[df.index.date == dt.date()]
df_day_t = df_day.between_time('08:30', '09:30')   

如果我进行200天的for循环,则需要几分钟.我怀疑这条线的每一步

df_day = df1[df.index.date == dt.date()] 

正在寻找数据集中每一行的相等性(即使它是有序数据集).是否有任何方法可以加快过滤速度,或者我应该对从一月到十二月的旧命令进行循环… ？

解决方法:

避免使用Python日期时间

首先,您应该避免将Python日期时间与Pandas操作结合使用.有很多Pandas / NumPy友好方法可以创建日期时间对象进行比较,例如pd.Timestamp和pd.to_datetime.这里的性能问题部分归因于docs中描述的此行为：

pd.Series.dt.date returns an array of python datetime.date objects

以这种方式使用对象dtype会消除矢量化的好处,因为操作随后需要Python级的循环.

使用groupby操作按日期进行汇总

熊猫已经具有通过归一化时间按日期分组的功能：

for day, df_day in df.groupby(df.index.floor('d')):
    df_day_t = df_day.between_time('08:30', '09:30')
    # do something

作为另一个示例,您可以通过以下方式访问特定日期的切片：

g = df.groupby(df.index.floor('d'))
my_day = pd.Timestamp('2017-01-01')
df_slice = g.get_group(my_day)

内容总结

以上是互联网集市为您收集整理的python-按天过滤熊猫数据框全部内容，希望文章能够帮你解决python-按天过滤熊猫数据框所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端