python – Pandas Chunksize迭代器

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Pandas Chunksize迭代器，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含932字，纯文字阅读大概需要2分钟。

内容图文

我有一个1GB,70M的行文件,无论何时加载它都会耗尽内存.我已经阅读了1000行,并且能够制作我想要它的原型.

我的问题是不知道如何获取接下来的1000行并应用我的逻辑,然后继续运行直到我完成最后一行的文件.我已经阅读了关于chunksizing的内容,虽然我无法弄清楚如何继续chunksizing的迭代.

理想情况下,它会像这样流动：

1)读入前1000行
2)根据标准过滤数据
3)写入csv
4)重复直到不再有行

这是我到目前为止所拥有的：

import pandas as pd
data=pd.read_table('datafile.txt',sep='\t',chunksize=1000, iterator=True)
data=data[data['visits']>10]
with open('data.csv', 'a') as f:
    data.to_csv(f,sep = ',', index=False, header=False)

解决方法:

您的逻辑存在一些问题,我们希望循环数据中的每个块,而不是数据本身.

‘chunksize’参数为我们提供了一个可以迭代的’textreader对象’.

import pandas as pd
data=pd.read_table('datafile.txt',sep='\t',chunksize=1000)

for chunk in data:
    chunk = chunk[chunk['visits']>10]
    chunk.to_csv('data.csv', index = False, header = False)

你需要考虑如何处理你的标题！

内容总结

以上是互联网集市为您收集整理的python – Pandas Chunksize迭代器全部内容，希望文章能够帮你解决python – Pandas Chunksize迭代器所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端