python – Pandas：使用`df.loc`从datetime64到int的类型转换
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – Pandas：使用`df.loc`从datetime64到int的类型转换，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4344字，纯文字阅读大概需要7分钟。
内容图文
当尝试使用df.loc []在列中重新分配某些值时,我得到一个奇怪的类型转换错误,将日期时间转换为整数.
最小例子：
import numpy as np
import pandas as pd
import datetime
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
print(d)
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
print(d)
完整示例：
这是我的数据框(包含NaN)：
>>> df.head()
prior_ea_date quarter
0 12/31/2015 Q2
1 12/31/2015 Q3
2 12/31/2015 Q3
3 12/31/2015 Q3
4 12/31/2015 Q2
>>> df.prior_ea_date
0 12/31/2015
1 12/31/2015
...
341486 1/19/2016
341487 1/6/2016
Name: prior_ea_date, dtype: object
我想运行以下代码行：
df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
其中dt是一个字符串到日期时间解析器,当正常运行时给出：
>>> df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True).head()
0 2015-12-31
1 2015-12-31
2 2015-12-31
3 2015-12-31
4 2015-12-31
Name: prior_ea_date, dtype: datetime64[ns]
但是,当我运行.loc []时,我得到以下内容：
>>> df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
>>> df.head()
prior_ea_date quarter
0 1451520000000000000 Q2
1 1451520000000000000 Q3
2 1451520000000000000 Q3
3 1451520000000000000 Q3
4 1451520000000000000 Q2
它已将我的日期时间对象转换为整数.
>为什么会这样？
>我该如何避免这种行为？
我已经设法建立了一个临时工作,所以我会欣赏任何一线黑客,我想要一个熊猫风格的解决方案.
谢谢.
解决方法:
我们将从第一个问题开始：如何避免这种行为？
我的理解是你想将prior_eta_date列转换为datetime对象. Pandas风格的方法是使用to_datetime：
df.prior_ea_date = pd.to_datetime(df.prior_ea_date, format='%m/%d/%Y')
df.prior_ea_date
0 2015-12-31
1 2015-12-31
2 2015-12-31
3 2015-12-31
4 2015-12-31
5 NaT
Name: prior_ea_date, dtype: datetime64[ns]
你的第一个问题更有趣：为什么会这样？
我认为发生的是当你使用df.loc [pd.notnull(df.prior_ea_date),’prior_ea_date’] = ….你在previous_ea_date列的一个切片上设置值而不是覆盖整个列.在这种情况下,Pandas执行默认类型转换以将右侧转换为原始prior_ea_date列的类型.请注意,那些长整数是所需日期的纪元时间.
我们可以用最小的例子看到这个：
##
# Example of type casting on slice
##
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
# Column-a is still dtype: object
d.a
0 12/6/2015
1 NaN
Name: a, dtype: object
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
# Column-a is still dtype: object
d.a
0 1449360000000000000
1 NaN
Name: a, dtype: object
##
# Example of overwriting whole column
##
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
d.a = pd.to_datetime(d.a, format='%m/%d/%Y')
# Column-a dtype is now datetime
d.a
0 2015-12-06
1 NaT
Name: a, dtype: datetime64[ns]
更多详情：
为了响应OP对更多底层细节的要求,我在Pycharm中跟踪调用堆栈以了解正在发生的事情. TLDR的答案是：最终,将日期时间dtypes转换为整数的意外行为是由于Numpy的内部行为.
d = np.datetime64('2015-12-30T16:00:00.000000000-0800')
d.astype(np.dtype(object))
#>>> 1451520000000000000L
…你能详细说明为什么在使用.loc时会发生这种类型的转换以及如何避免它…
我原来答案中的直觉是正确的.这是因为datetime对象被转换为通用对象类型.这是因为在loc切片上的设置保留了具有设置值的列的dtype.
当使用loc设置值时,Pandas使用indexing module中的_LocationIndexer.经过大量检查维度和条件后,self.obj._data = self.obj._data.setitem(indexer,value)行实际上设置了新值.
走进那一行,我们发现日期时间被转换为整数,line 742 pandas.core.internals.py：
values[indexer] = value
在此语句中,values是对象dtypes的Numpy ndarray.这是原始作业左侧的数据.它包含日期字符串.索引器只是一个元组.而值是Numpy datetime64对象的ndarray.
此操作使用Numpy自己的setitem方法,通过调用np.asarray(value,self.dtype)填充单个“单元格”.在您的情况下,self.dtype是左侧：对象的类型,值参数在各个日期时间中.
np.asarray(d, np.dtype(object))
#>>> array(1451520000000000000L, dtype=object)
……以及如何避免……
不要使用loc.覆盖整个列,如上例所示.
…我认为使用dtype = object的列会避免pandas假设对象类型.无论哪种方式,当原始列包含字符串和NaN时,为什么它应该将其转换为int,这似乎是出乎意料的.
最终,行为是由于Numpy如何实现从datetime到object的转换.现在为什么Numpy这样做呢？我不知道.这是一个很好的新问题和另一个兔子洞.
内容总结
以上是互联网集市为您收集整理的python – Pandas：使用`df.loc`从datetime64到int的类型转换全部内容，希望文章能够帮你解决python – Pandas：使用`df.loc`从datetime64到int的类型转换所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。