【在python中读取大型csv文件的行】教程文章相关的互联网学习教程文章

python – 将csv文件附加到django中的电子邮件中【代码】

我需要创建一个应该有csv文件作为附件的邮件.如何将csv文件附加到django中的邮件?解决方法:要将文件附加到django发送的电子邮件,您必须创建一个EmailMessage实例并使用.attach()方法附加该文件. 例如,假设您在csv_data中有CSV内容:email = EmailMessage('Subject', 'email body', 'from@mail.com', ['to@mail.com']) email.attach('name.csv', csv_data, 'text/csv') email.send()或者,如果CSV数据在文件中,您可以使用:email.at...

在Python中读取csv文件并创建字典【代码】

我有一个像这样的csv数据集:A, 10, USA B,30, UK C,4,IT A,20,UK B,10,USA我想阅读这些csv行并提供以下输出:A has ran 30 miles with average of 15. B has ran 30 miles with average of 20. C has ran 4 miles with average of 4. 到目前为止,我的解决方案是读取csv数据并将它们转换为字典然后迭代它们以查看“A”重复了多少次以及它必须为平均值计算的值以及最终生成结果.我已经编写了这段代码,但是我很难有效地计算A重复的次...

使用换行符将csv文件导入R或Python Pandas【代码】

我有一个csv文件,其中包含列中的换行符:"id","comment","x" 1,"ABC\"xyz",123 2,"xyz\"abc",543 3,"abc xyz",483ID 3,例如包含这样的换行符. 如何将其导入python或R?另外,我不介意这些换行符是否会被空格替换.解决方法:Python内置了CSV阅读器,可以为您处理.见csv documentation.import csvwith open(filename) as f:reader = csv.reader(f)csv_rows = list(reader)

python – 将列表的元素打印到.csv文件【代码】

我正在读取csv文件并将每行作为列表处理.最后,我想重新打印到.csv文件,但这些行不一定是偶数.我显然不能只是去“打印行”,因为这将打印为列表.如何以.csv格式打印?解决方法:假设“row”包含字符串列表,您可以尝试使用print ",".join(row)

两个如何使用python水平合并几个.csv文件?【代码】

我有几个.csv文件(~10),需要将它们水平合并到一个文件中.每个文件具有相同的行数(~300)和4个标题行,这些标题行不一定相同,但不应合并(仅从第一个.csv文件中获取标题行).行中的标记以逗号分隔,中间没有空格. 作为一个python noob,我没有提出解决方案,但我确信这个问题有一个简单的解决方案.欢迎任何帮助.解决方法:您可以使用Python中的csv模块加载CSV文件.请参考本模块的documentation以获取加载代码,我记不起来了,但这很简单.就像是...

如何将列表列表写入CSV文件Python?【代码】

我有一个列表,如[(‘a’,’b’,’c’),(‘d’,’e’,’f’),….].我想把它写成这样的CSV文件 – a, b, c d, e, f我怎么做? 我尝试过使用csv.writerows,但输出文件中的每个字符都在不同的单元格中,并且所有字符都在同一行中.从某种意义上说,第一排的细胞有’a”b’等. 谢谢.解决方法:如果你有熊猫,它非常容易和快速.我假设你有一个名为“data”的元组列表.import pandas as pd data = [('a', 'b', 'c'), ('d', 'e', 'f')] ...

python – 字典到CSV文件:列的排序【代码】

我正在尝试将字典列表导出到.csv文件:keys = hist[0].keys() with open(file, 'wt') as output_file:dict_writer = csv.DictWriter(output_file, keys, lineterminator='\n')dict_writer.writeheader()dict_writer.writerows(hist)我希望字典中的最后一个键是列中的第一个键. 我的词典列表(hist)是:[{'RSD': '-', 'GBP': '0.500409', 'Date': '2008-04-05'}, {'RSD': '-', 'GBP': '0.500409', 'Date': '2008-04-06'}, {'RSD': '-...

python – 按列合并多个csv文件的最快方法是什么?【代码】

我有大约50个CSV文件,每个文件有60,000行,并且列数不同.我想按列合并所有CSV文件.我已经尝试在MATLAB中通过转置每个csv文件并重新保存到磁盘,然后使用命令行来连接它们.这使我的计算机超过一周,最终结果需要再次转换!我必须再次这样做,我正在寻找一个不会再需要一周的解决方案.任何帮助,将不胜感激.解决方法:[…] transposing each csv file and re-saving to disk, and then using the command line to concatenate them […]听起...

Python——pickle、csv文件操作【代码】【图】

一、Python pickle ? Python 的Pickle模块是将 Python对象存入 .pkl后缀的文件,在需要使用时将其迅速转换为Python对象。 避免了多次读取数据库的操作,提高了程序执行效率。 其大致分为3步:import 、存储和读取import pickle存储:? ? ? ? ? ???import pickle ? ?# 存储 with open(filename, w’) as f:pickle.dump(save_object,f) # filename 形如 xxx.pkl # 存储后,会自动将 save_obj 写入 .pkl后缀的文件 ?? ? ? 3.? 读取...

Python:如何检查CSV文件中的单元格是否为空?【代码】

我有一个CSV文件,我正在阅读Python,如果第一列为空,我希望程序跳过该行.我该怎么做呢? 现在我有:with open('testdata1.csv', 'rU') as csvfile:csvreader = csv.reader(csvfile)for row in csvreader:if row[0] = null:#?????我如何:1)检查CSV中的空单元格; 2)告诉读者跳过这一行? 多谢你们.解决方法: with open('testdata1.csv', 'r') as csvfile:csvreader = csv.reader(csvfile)for row in csvreader:print(row)if row[0] i...

利用python转置csv文件【代码】

利用python将csv文件的行列互换并保存:df = pd.read_csv(file)df.valuesdata = df.as_matrix()data = list(map(list,zip(*data)))data = pd.DataFrame(data)data.to_csv('dataset/'+file,header=0,index=0)

使用python从csv文件中仅获取所需的行【代码】

如何使用python从csv文件中获取每个第3行?import csvwith open ('data.csv','r') as infile:contents = csv.reader(infile, delimiter =' ') then???csv文件看起来像:aaaaaaaaaaaaaaaa bbbbbbbbbbbbbbbb only recquired line cccccccccccccccccccccccccc ddddddddddddddddddddddddd only recquired line结果应如下所示:only recquired line only recquired line解决方法:为避免将整个文件加载到内存中,可以使用itertools.islice...

python – 使用pandas读取.csv文件时指定时间戳措辞格式?【代码】

我有一个.csv文件,其中有数千个条目由数据记录器创建. 格式或多或少是这样的:time | data 01/07/2015 12:25:45 | 356.24 01/07/2015 12:25:50 | 357.24 01/07/2015 12:25:55 | 351.24 01/07/2015 12:26:00 | 357.20 01/07/2015 12:26:05 | 356.32 ...当我使用pandas读取文件时import pandas as pd df = pd.read_csv(filename, parse_dates=True, infer_datetime_format=True)某些日期由于某种原因被识别为错误,因...

python – 使用dask.dataframe从CSV文件中读取分区尾部【代码】

使用Dash,即使在多个分区中,我们也可以轻松读取CSV文件并使用头部获取第一行.import dask.dataframe as dd df = dd.read_csv('data.csv').head(n=100, npartitions=2)但我想在多个分区上阅读我的CSV文件的最后几行,如下所示:import dask.dataframe as dd df = dd.read_csv('data.csv').tail(n=100, npartitions=2)Dask data.frame似乎不支持tail方法上的分区. 在熊猫中,我可以使用跳过来管理它,但是这个选项在Dask中似乎不可用.解...

如何将数据添加到CSV文件的末尾(Python)【代码】

我需要能够定期将数据添加到CSV文件的末尾.理想情况下,我想在不将整个文件读入内存的情况下执行此操作. 有没有办法可以将数据附加到文件的末尾?我遇到的一个解决方案是简单地从Python中发出一个管道命令,但这看起来太丑陋了.有没有更好的方法在CSV文件的末尾附加一行或几行?解决方法:实际上,有两种方法.首先,您可以打开(文件名,’ab’),这将打开文件appending in binary mode.第二个是使用seek:import os my_file = open("data....