用于分析的内存表数据结构中的Python(字典,列表,组合)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了用于分析的内存表数据结构中的Python(字典,列表,组合)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4363字，纯文字阅读大概需要7分钟。

内容图文

我正在尝试模拟一些我使用SQL但使用所有Python代码的代码.
在这里有一些帮助
CSV to Python Dictionary with all column names?

我现在可以将我的zipped-csv文件读成dict只有一行,最后一行. (如何获取行样本或整个数据文件？)

我希望有一个内存驻留表,当我完成时我可以像sql一样操作例如通过将坏数据与坏数据和正确条目的另一个表匹配来清理数据..然后按类型平均值按时间段和喜欢..整个数据文件大约是500,000行..我不是为了获得所有的内存而是想尽可能地解决一般情况,我再次知道如何在不诉诸SQL的情况下做什么

import csv, sys, zipfile
sys.argv[0] = "/home/tom/Documents/REdata/AllListing1RES.zip"
zip_file    = zipfile.ZipFile(sys.argv[0])
items_file  = zip_file.open('AllListing1RES.txt', 'rU')
for row in csv.DictReader(items_file, dialect='excel', delimiter='\t'):
    pass 
# Then is my result is
>>> for key in row:
print 'key=%s, value=%s' % (key, row[key])  
key=YEAR_BUILT_DESC, value=EXIST
key=SUBDIVISION, value=KNOLLWOOD
key=DOM, value=2
key=STREET_NAME, value=ORLEANS RD
key=BEDROOMS, value=3
key=SOLD_PRICE, value=
key=PROP_TYPE, value=SFR
key=BATHS_FULL, value=2
key=PENDING_DATE, value=
key=STREET_NUM, value=3828
key=SOLD_DATE, value=
key=LIST_PRICE, value=324900
key=AREA, value=200
key=STATUS_DATE, value=3/3/2011 11:54:56 PM
key=STATUS, value=A
key=BATHS_HALF, value=0
key=YEAR_BUILT, value=1968
key=ZIP, value=35243
key=COUNTY, value=JEFF
key=MLS_ACCT, value=492859
key=CITY, value=MOUNTAIN BROOK
key=OWNER_NAME, value=SPARKS
key=LIST_DATE, value=3/3/2011
key=DATE_MODIFIED, value=3/4/2011 12:04:11 AM 
key=PARCEL_ID, value=28-15-3-009-001.0000
key=ACREAGE, value=0
key=WITHDRAWN_DATE, value=
>>>

我想我在这里咆哮着一些错误的树木……
一个是我只有一行约500,000行数据文件..
二,似乎dict可能不是正确的结构,因为我认为我不能只加载所有500,000行并对它们进行各种操作.喜欢..按组和日期分享..
加上似乎重复的密钥可能会导致问题,例如县和细分等非唯一描述符.

我也不知道如何将特定的小子行读入内存(如10或100进行测试,在加载之前(我也没有得到)…我已阅读过Python文档和几个参考资料书籍,但它只是没有点击..

似乎我能找到的大多数答案都建议使用各种SQL解决方案来解决这类问题,但我很想学习使用Python实现类似结果的基础知识.在某些情况下,我认为它将更容易,更快,以及扩展我的工具集.但我很难找到相关的例子.

一个答案提示我所得到的是：

Once the reading is done right, DictReader should work for getting rows as dictionaries, a typical row-oriented structure. Oddly enough, this isn’t normally the efficient way to handle queries like yours; having only column lists makes searches a lot easier. Row orientation means you have to redo some lookup work for every row. Things like date matching requires data that is certainly not present in a CSV, like how dates are represented and which columns are dates.

An example of getting a column-oriented data structure (however, involving loading the whole file):

import csv
allrows=list(csv.reader(open('test.csv')))
# Extract the first row as keys for a columns dictionary
columns=dict([(x[0],x[1:]) for x in zip(*allrows)])
The intermediate steps of going to list and storing in a variable aren't necessary. 
The key is using zip (or its cousin itertools.izip) to transpose the table.
Then extracting column two from all rows with a certain criterion in column one:

matchingrows=[rownum for (rownum,value) in enumerate(columns['one']) if value>2]
print map(columns['two'].__getitem__, matchingrows)
When you do know the type of a column, it may make sense to parse it, using appropriate 
functions like datetime.datetime.strptime.

通过Yann Vernier

当然这个一般主题有一些很好的参考？

解决方法:

您只能从csv阅读器一次读取一行,但您可以非常轻松地将它们全部存储在内存中：

rows = []
for row in csv.DictReader(items_file, dialect='excel', delimiter='\t'):
    rows.append(row)

# rows[0]
{'keyA': 13, 'keyB': 'dataB' ... }
# rows[1]
{'keyA': 5, 'keyB': 'dataB' ... }

然后,进行聚合和计算：

sum(row['keyA'] for row in rows)

您可能希望在数据进入行之前对其进行转换,或使用更友好的数据结构.每次计算迭代超过500,000行可能会变得非常低效.

作为一名评论者提到,使用内存数据库可能对您非常有益. another question确切地询问如何将csv数据传输到sqlite数据库.

import csv
import sqlite3

conn = sqlite3.connect(":memory:")
c = conn.cursor()
c.execute("create table t (col1 text, col2 float);")

# csv.DictReader uses the first line in the file as column headings by default
dr = csv.DictReader(open('data.csv', delimiter=','))
to_db = [(i['col1'], i['col2']) for i in dr]
c.executemany("insert into t (col1, col2) values (?, ?);", to_db)

内容总结

以上是互联网集市为您收集整理的用于分析的内存表数据结构中的Python(字典,列表,组合)全部内容，希望文章能够帮你解决用于分析的内存表数据结构中的Python(字典,列表,组合)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端