在python中将数组存储到持久内存的有效方法
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了在python中将数组存储到持久内存的有效方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2185字，纯文字阅读大概需要4分钟。
内容图文
假设我们有一个这样的长一维数组,其中包含数百万个元素：
[0,1,1,1,1,2,1,1,1,1,1,1,1,… ,, 1,2,2,2,2,2,2,2,2,4,4,4 ,4,4,4,4,4,4,4,3,4,1,1,1,1,1]
如果只有一个重复元素,我们可以使用稀疏数组,但是由于它可以是任何类型的整数值(或一组名义元素),所以这没有我想像的窍门(或者我错了吗？).
据我了解,据我了解,PyTables能够基于HDF5文件即时压缩数据,这似乎是python的go to选项.
有经验的人,可以告诉您这是一条合适的路线,还是有其他方法,就CPU和内存使用而言(将最少的CPU周期减少到减小的内存空间中),效率甚至更高.
解决方法:
我尝试使用您数据的重复性质.假设您以较长的顺序存储了数据,例如列表：
long_sequence = [0,1,1,1,1,2,1,1,1,1,1,1,1,3,1,2,2,2,2,2,2,2,4,4,4,4,4,4,4,4,4,3,4,1,1,1,1]
现在,我将两个连续元素之间的更改存储在元组列表中：
compressed_list = []
last_element = None
for i, element in enumerate(long_sequence):
if element == last_element: continue
else:
compressed_list.append((i, element))
last_element = element
# compressed_list:
[(0, 0),
(1, 1),
(5, 2),
(6, 1),
(13, 3),
(14, 1),
(15, 2),
(22, 4),
(31, 3),
(32, 4),
(33, 1)]
现在,这可以解决存储问题,但是数据的访问在计算上仍然可能是昂贵的(使用纯python)：
def element_from_compressed_list_by_index(lst, idx):
for (i, element), (next_i, _) in zip(lst, lst[1:]):
if i <= idx < next_i: return element
else: raise KeyError("No Element found at index {}".format(idx))
# This does not work for the last repetitive section of the sequence,
# but the idea gets across I think...
element_from_compressed_list_by_index(compressed_list, 3)
# Out: 1
sqlite数据库是读取和存储数据的更好方法.
import sqlite3 as sq
con = sq.connect(':memory') # would be a file path in your case
# create a database table to store the compressed list
con.execute("CREATE TABLE comp_store (start_index int, element int);")
# add the data
con.executemany("INSERT INTO comp_store (start_index, element) VALUES (?,?)", compressed_list)
要使用其索引(在下面的示例中为7)从数据库中获取一个元素,可以使用以下查询.
con.execute('SELECT element FROM comp_store WHERE start_index <= ? ORDER BY start_index DESC LIMIT 1',
(7,))
我认为PyTables仍然是正确的答案,据我所知,HDF5格式被开放源代码和专有产品广泛使用.但是,如果出于某种原因要使用python标准库,这也是一个不错的选择.
提示：python3中的zipand枚举函数比python2中的效率更高(实际上：惰性)…
内容总结
以上是互联网集市为您收集整理的在python中将数组存储到持久内存的有效方法全部内容，希望文章能够帮你解决在python中将数组存储到持久内存的有效方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。