python – 使用pandas的“大数据”工作流程
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 使用pandas的“大数据”工作流程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6752字，纯文字阅读大概需要10分钟。
内容图文
在学习大熊猫的过程中,我试图解决这个问题的答案已有好几个月了.我使用SAS进行日常工作,这非常适合它的核心支持.然而,由于其他许多原因,SAS作为一款软件非常糟糕.
有一天,我希望用python和pandas替换我对SAS的使用,但我目前缺乏大型数据集的核心工作流程.我不是在谈论需要分布式网络的“大数据”,而是说文件太大而无法容纳在内存中,但又足够小以适应硬盘驱动器.
我的第一个想法是使用HDFStore在磁盘上保存大型数据集,并仅将我需要的部分拉入数据帧进行分析.其他人提到MongoDB是一种更容易使用的替代品.我的问题是：
有哪些最佳实践工作流程可用于完成以下任务：
>将平面文件加载到永久的磁盘数据库结构中
>查询该数据库以检索数据以提供给pandas数据结构
>在操作pandas中的片段后更新数据库
真实世界的例子将非常受欢迎,尤其是那些在“大数据”上使用熊猫的人.
编辑 – 我希望如何工作的示例：
>迭代导入大型平面文件并将其存储在永久的磁盘数据库结构中.这些文件通常太大而无法放入内存中.
>为了使用Pandas,我想读取这些数据的子集(通常一次只有几列),它们可以适合内存.
>我将通过对所选列执行各种操作来创建新列.
>然后我必须将这些新列附加到数据库结构中.
我正在尝试找到执行这些步骤的最佳实践方法.阅读关于pandas和pytables的链接似乎附加一个新列可能是个问题.
编辑 – 特别回应杰夫的问题：
>我正在构建消费者信用风险模型.数据种类包括电话,SSN和地址特征;财产价值;犯罪记录,破产等贬损信息……我每天使用的数据集平均有近1,000到2,000个字段的混合数据类型：数字和字符数据的连续,名义和序数变量.我很少附加行,但我会执行许多创建新列的操作.
>典型操作涉及使用条件逻辑将多个列组合到新的复合列中.例如,如果var1> 2然后newvar =’A’elif var2 = 4则newvar =’B’.这些操作的结果是我的数据集中每条记录的新列.
>最后,我想将这些新列附加到磁盘上的数据结构中.我将重复第2步,使用交叉表和描述性统计数据探索数据,试图找到有趣,直观的模型关系.
>典型的项目文件通常约为1GB.文件被组织成一种行,其中一行包括消费者数据的记录.每行对每条记录都有相同的列数.情况总是如此.
>在创建新列时,我很少按行进行分组.但是,在创建报告或生成描述性统计信息时,对行进行子集化非常常见.例如,我可能想为特定的业务线创建一个简单的频率,比如零售信用卡.要做到这一点,除了我要报告的列之外,我只会选择那些业务线=零售的记录.但是,在创建新列时,我会提取所有数据行,只提取操作所需的列.
>建模过程要求我分析每一列,寻找与某些结果变量的有趣关系,并创建描述这些关系的新化合物列.我探索的列通常以小集合完成.例如,我将专注于一组20个列,只处理属性值并观察它们与贷款违约的关系.一旦探索了这些并创建了新的列,我就转到另一组列,比如大学教育,然后重复这个过程.我正在做的是创建候选变量来解释我的数据和某些结果之间的关系.在这个过程的最后,我应用了一些学习技术,从这些复合列中创建一个方程式.
我很少会在数据集中添加行.我几乎总是会创建新的列(统计/机器学习用语中的变量或特征).
解决方法:
我通常以这种方式使用数十亿字节的数据
例如我在磁盘上有表,我通过查询,创建数据和追加回读.
有关如何存储数据的若干建议,请阅读the docs和late in this thread.
详细信息将影响您存储数据的方式,例如：
尽可能多地提供细节;我可以帮你建立一个结构.
>数据大小,行数,列数,列类型;你在追加吗？
行,还是只是列？
>典型的操作是什么样的.例如.对列进行查询以选择一堆行和特定列,然后执行操作(内存中),创建新列,保存这些列.
(给出一个玩具示例可以让我们提供更具体的建议.)
>经过那个处理,那你做什么？第2步是临时的,还是可重复的？
>输入平面文件：Gb中有多少粗略的总大小.这些如何组织,例如按记录？每个文件是否包含不同的字段,或者每个文件中是否包含每个文件中包含所有字段的记录？
>您是否曾根据标准选择行(记录)的子集(例如,选择字段A> 5的行)？然后做一些事情,或者你只是选择包含所有记录的字段A,B,C(然后做一些事情)？
>您是否“处理”所有列(以组为单位),或者是否有一个很好的比例,您只能用于报告(例如,您希望保留数据,但不需要提取该列明确性直到最后的结果时间)？
解
确保已安装pandas at least 0.10.1.
阅读iterating files chunk-by-chunk和multiple table queries.
由于pytables被优化为按行进行操作(这是您查询的内容),因此我们将为每组字段创建一个表.通过这种方式,可以轻松选择一小组字段(可以使用大表格,但这样做效率更高……我想我将来可以修复这个限制…这是无论如何更直观)：
(以下是伪代码.)
import numpy as np
import pandas as pd
# create a store
store = pd.HDFStore('mystore.h5')
# this is the key to your storage:
# this maps your fields to a specific group, and defines
# what you want to have as data_columns.
# you might want to create a nice class wrapping this
# (as you will want to have this map and its inversion)
group_map = dict(
A = dict(fields = ['field_1','field_2',.....], dc = ['field_1',....,'field_5']),
B = dict(fields = ['field_10',...... ], dc = ['field_10']),
.....
REPORTING_ONLY = dict(fields = ['field_1000','field_1001',...], dc = []),
)
group_map_inverted = dict()
for g, v in group_map.items():
group_map_inverted.update(dict([ (f,g) for f in v['fields'] ]))
读取文件并创建存储(基本上执行append_to_multiple所做的事情)：
for f in files:
# read in the file, additional options hmay be necessary here
# the chunksize is not strictly necessary, you may be able to slurp each
# file into memory in which case just eliminate this part of the loop
# (you can also change chunksize if necessary)
for chunk in pd.read_table(f, chunksize=50000):
# we are going to append to each table by group
# we are not going to create indexes at this time
# but we *ARE* going to create (some) data_columns
# figure out the field groupings
for g, v in group_map.items():
# create the frame for this group
frame = chunk.reindex(columns = v['fields'], copy = False)
# append it
store.append(g, frame, index=False, data_columns = v['dc'])
现在你已经拥有了文件中的所有表格(实际上你可以将它们存储在单独的文件中,如果你愿意,你可能需要将文件名添加到group_map,但可能这不是必需的).
这是您获取列并创建新列的方法：
frame = store.select(group_that_I_want)
# you can optionally specify:
# columns = a list of the columns IN THAT GROUP (if you wanted to
# select only say 3 out of the 20 columns in this sub-table)
# and a where clause if you want a subset of the rows
# do calculations on this frame
new_frame = cool_function_on_frame(frame)
# to 'add columns', create a new group (you probably want to
# limit the columns in this new_group to be only NEW ones
# (e.g. so you don't overlap from the other tables)
# add this info to the group_map
store.append(new_group, new_frame.reindex(columns = new_columns_created, copy = False), data_columns = new_columns_created)
当您准备进行post_processing时：
# This may be a bit tricky; and depends what you are actually doing.
# I may need to modify this function to be a bit more general:
report_data = store.select_as_multiple([groups_1,groups_2,.....], where =['field_1>0', 'field_1000=foo'], selector = group_1)
关于data_columns,您实际上不需要定义任何data_columns;它们允许您根据列子选择行.例如.就像是：
store.select(group, where = ['field_1000=foo', 'field_1001>0'])
在最终报告生成阶段,它们可能对您最感兴趣(实质上,数据列与其他列隔离,如果您定义了很多,这可能会影响效率).
您可能还想：
>创建一个获取字段列表的函数,查找groups_map中的组,然后选择这些并连接结果,以便得到结果帧(这实际上是select_as_multiple所做的).通过这种方式,结构对您来说非常透明.
>某些数据列上的索引(使行子集更快).
>启用压缩.
如果您有疑问,请告诉我！
内容总结
以上是互联网集市为您收集整理的python – 使用pandas的“大数据”工作流程全部内容，希望文章能够帮你解决python – 使用pandas的“大数据”工作流程所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。