python – 将Dask分区写入单个文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 将Dask分区写入单个文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含871字，纯文字阅读大概需要2分钟。

内容图文

dask新手,我有一个1GB的CSV文件,当我在dask数据帧中读取它时,它在我写入文件的更改后创建了大约50个分区,它创建了与分区一样多的文件.
有没有办法将所有分区写入单个CSV文件,是否有办法访问分区？
谢谢.

解决方法:

简短的回答

不,Dask.dataframe.to_csv只将CSV文件写入不同的文件,每个分区一个文件.但是,有办法解决这个问题.

连接之后

也许只是在dask.dataframe写入后连接文件？这在性能方面可能接近最优.

df.to_csv('/path/to/myfiles.*.csv')
from glob import glob
filenames = glob('/path/to/myfiles.*.csv')
with open('outfile.csv', 'w') as out:
    for fn in filenames:
        with open(fn) as f:
            out.write(f.read())  # maybe add endline here as well?

或者使用Dask.delayed

但是,您可以使用dask.delayed,using dask.delayed alongside dataframes自己完成此操作

这会为您提供一个您可以使用的延迟值列表：

list_of_delayed_values = df.to_delayed()

然后由您构建计算以将这些分区顺序写入单个文件.这并不难,但可以在调度程序上引起一些备份.

内容总结

以上是互联网集市为您收集整理的python – 将Dask分区写入单个文件全部内容，希望文章能够帮你解决python – 将Dask分区写入单个文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端