在python中读取大型csv文件的行

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在python中读取大型csv文件的行，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1988字，纯文字阅读大概需要3分钟。

内容图文

我有一个非常大的csv文件,我无法在内存中完整加载.所以我想逐个阅读,将其转换为numpy数组,然后再进行一些处理.

我已经检查过：
Lazy Method for Reading Big File in Python?

但问题是它是一个普通的读者,我无法在csvReader中找到任何指定大小的选项.

此外,因为我想将行转换为numpy数组,我不想读取任何一半的行,所以不是指定大小,我想要一些我可以在读者中指定“no of rows”的东西.

有没有内置功能或简单的方法来做到这一点.

解决方法:

csv.reader不会将整个文件读入内存.当您遍历读者对象时,它会逐行地遍历文件.所以你可以像往常一样使用阅读器,但是在你阅读之后要从你的迭代中断,无论你想读多少行.您可以在C-code used to implement the reader object中看到这一点.

Initializer for the reader objecT:
static PyObject *
csv_reader(PyObject *module, PyObject *args, PyObject *keyword_args)
{
    PyObject * iterator, * dialect = NULL;
    ReaderObj * self = PyObject_GC_New(ReaderObj, &Reader_Type);

    if (!self)
        return NULL;

    self->dialect = NULL;
    self->fields = NULL;
    self->input_iter = NULL;
    self->field = NULL;
    // stuff we dont care about here
    // ...
    self->input_iter = PyObject_GetIter(iterator);  // here we save the iterator (file object) we passed in
    if (self->input_iter == NULL) {
        PyErr_SetString(PyExc_TypeError,
                        "argument 1 must be an iterator");
        Py_DECREF(self);
        return NULL;
    }

static PyObject *
Reader_iternext(ReaderObj *self)  // This is what gets called when you call `next(reader_obj)` (which is what a for loop does internally)
{
    PyObject *fields = NULL;
    Py_UCS4 c;
    Py_ssize_t pos, linelen;
    unsigned int kind;
    void *data;
    PyObject *lineobj;

    if (parse_reset(self) < 0)
        return NULL;
    do {
        lineobj = PyIter_Next(self->input_iter);  // Equivalent to calling `next(input_iter)`
        if (lineobj == NULL) {
            /* End of input OR exception */
            if (!PyErr_Occurred() && (self->field_len != 0 ||
                                      self->state == IN_QUOTED_FIELD)) {
                if (self->dialect->strict)
                    PyErr_SetString(_csvstate_global->error_obj,
                                    "unexpected end of data");
                else if (parse_save_field(self) >= 0)
                    break;
            }
            return NULL;
        }

如您所见,next(reader_object)在内部调用next(file_object).所以你要逐行迭代,而不是将整个内容读入内存.

内容总结

以上是互联网集市为您收集整理的在python中读取大型csv文件的行全部内容，希望文章能够帮你解决在python中读取大型csv文件的行所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端