python – 在pandas.read_csv()中使用自定义对象

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 在pandas.read_csv()中使用自定义对象，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1749字，纯文字阅读大概需要3分钟。

内容图文

我有兴趣将自定义对象流式传输到pandas数据帧中.根据the documentation,可以使用具有read()方法的任何对象.但是,即使在实现此功能后,我仍然会收到此错误：

ValueError: Invalid file path or buffer object type: <class ‘__main__.DataFile’>

这是对象的简单版本,以及我如何调用它：

class DataFile(object):
    def __init__(self, files):
        self.files = files

    def read(self):
        for file_name in self.files:
            with open(file_name, 'r') as file:
                for line in file:
                    yield line

import pandas as pd
hours = ['file1.csv', 'file2.csv', 'file3.csv']

data = DataFile(hours)
df = pd.read_csv(data)

我错过了什么,或者是否在Pandas中使用自定义生成器是不可能的？当我调用read()方法时,它工作得很好.

编辑：
我想使用自定义对象而不是将数据帧连接在一起的原因是看是否可以减少内存使用量.我过去使用过gensim库,这使得使用自定义数据对象非常容易,所以我希望找到一些类似的方法.

解决方法:

文档提到了read方法,但实际上它正在检查它是否是一个is_file_like参数(这是抛出异常的地方).该功能实际上非常简单：

def is_file_like(obj):
    if not (hasattr(obj, 'read') or hasattr(obj, 'write')):
        return False
    if not hasattr(obj, "__iter__"):
        return False
    return True

所以它还需要一个__iter__方法.

但这不是唯一的问题. Pandas要求它实际上表现得像文件一样.所以read方法应该接受一个额外的字节数参数(所以你不能读取一个生成器 – 因为它必须可以用2个参数调用,并且应该返回一个字符串).

例如：

class DataFile(object):
    def __init__(self, files):
        self.data = """a b
1 2
2 3
"""
        self.pos = 0

    def read(self, x):
        nxt = self.pos + x
        ret = self.data[self.pos:nxt]
        self.pos = nxt
        return ret

    def __iter__(self):
        yield from self.data.split('\n')

将被视为有效输入.

然而,对于多个文件来说,它更难,我希望fileinput可以有一些适当的例程,但它似乎不是这样的：

import fileinput

pd.read_csv(fileinput.input([...]))
# ValueError: Invalid file path or buffer object type: <class 'fileinput.FileInput'>

内容总结

以上是互联网集市为您收集整理的python – 在pandas.read_csv()中使用自定义对象全部内容，希望文章能够帮你解决python – 在pandas.read_csv()中使用自定义对象所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端