python-将值添加到使用csv_read导入的DASK数据帧的列中

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python-将值添加到使用csv_read导入的DASK数据帧的列中，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1143字，纯文字阅读大概需要2分钟。

内容图文

假设使用csv_read将五个文件导入DASK.为此,我使用以下代码：

import dask.dataframe as dd
data = dd.read_csv(final_file_list_msg, header = None)

每个文件有十列.我想将1添加到文件1的第一列中,将2添加到文件2的第一列中,将3添加到文件3的第一列中,依此类推.

解决方法:

假设您遵循此方案有几个文件：

dummy/
├── file01.csv
├── file02.csv
├── file03.csv

首先,我们通过创建它们

import os
import pandas as pd
import numpy as np
import dask.dataframe as dd
from dask import delayed

fldr = "dummy"

if not os.path.exists(fldr):
    os.mkdir(fldr)

for i in range(10):
    df = pd.DataFrame(np.random.rand(5,3))
    df.to_csv("{}/file{:02}.csv".format(fldr,i+1),
              index=False)

创建的文件列表为fns = sorted(os.listdir(fldr))

然后我们编写一个给定路径fn的函数：

>读取文件
>在fileXX.csv中取数字XX
>在第一列中插入int(XX)

那是

def addCol(fn):
    df = pd.read_csv(os.path.join(fldr, fn))
    first = int(fn.split(".")[0][-2:])
    df.insert(0, "first", first)
    return df

我们希望这个乐趣能够被延迟,我们可以使用装饰器@delayed或将函数包装为延迟来实现.因此,为了获得所需的输出,我们应该触发(相应地)

> ddf = dd.from_delayed([在fns中为fn添加[addCol(fn)]))
> ddf = dd.from_delayed([对于fn in fns,为[delayed(addCol)(fn)表示]))

内容总结

以上是互联网集市为您收集整理的python-将值添加到使用csv_read导入的DASK数据帧的列中全部内容，希望文章能够帮你解决python-将值添加到使用csv_read导入的DASK数据帧的列中所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端