python dask dataframe将元组列拆分为两列
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python dask dataframe将元组列拆分为两列,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1196字,纯文字阅读大概需要2分钟。
内容图文
![python dask dataframe将元组列拆分为两列](/upload/InfoBanner/zyjiaocheng/782/79f726527d5c467c9230840f1725e732.jpg)
我正在使用带有dask的python 2.7
我有一个数据框,其中包含我创建的一列元组,如下所示:
table[col] = table.apply(lambda x: (x[col1],x[col2]), axis = 1, meta = pd.Dataframe)
我想将此元组列重新转换为两个单独的列
在熊猫我会这样做:
table[[col1,col2]] = table[col].apply(pd.Series)
这样做的一点是,dask数据帧不支持多索引,我想根据多个列使用groupby,并希望创建一个元组列,它将为我提供一个包含我需要的所有值的索引(请忽略)效率与多指数,因为还没有完全支持这是dask数据帧)
当我尝试使用此代码解压缩带有dask的元组列时:
rxTable[["a","b"]] = rxTable["tup"].apply(lambda x: s(x), meta = pd.DataFrame, axis = 1)
我收到这个错误
AttributeError: ‘Series’ object has no attribute ‘columns’
当我尝试
rxTable[["a","b"]] = rxTable["tup"].apply(dd.Series, axis = 1, meta = pd.DataFrame)
我得到了同样的结果
我如何获取一列元组并将其转换为两列,就像我在Pandas中一样没有问题?
谢谢
解决方法:
我发现最好的是转换成pandas数据帧然后转换列,然后返回到dask
df1 = df.compute()
df1[["a","b"]] = df1["c"].apply(pd.Series)
df = dd.from_pandas(df1,npartitions=1)
这将很好,如果df对于内存来说太大,你可以:
1.仅计算所需列,将其转换为两列,然后使用merge将拆分结果转换为原始df
2.将df分成块,然后转换每个块并将其添加到hd5文件中,然后使用dask将整个hd5文件读入dask数据帧
内容总结
以上是互联网集市为您收集整理的python dask dataframe将元组列拆分为两列全部内容,希望文章能够帮你解决python dask dataframe将元组列拆分为两列所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。