python – 具有非常大的数组的numpy tofile()保存全零
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 具有非常大的数组的numpy tofile()保存全零，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1544字，纯文字阅读大概需要3分钟。
内容图文
当我尝试保存一个非常大的(20000 x 20000元素)数组时,我得到了所有的零：
In [2]: shape = (2e4,)*2
In [3]: r = np.random.randint(0, 10, shape)
In [4]: r.tofile('r.data')
In [5]: ls -lh r.data
-rw-r--r-- 1 whg staff 3.0G 23 Jul 16:18 r.data
In [6]: r[:6,:6]
Out[6]:
array([[6, 9, 8, 7, 4, 4],
[5, 9, 5, 0, 9, 4],
[6, 0, 9, 5, 7, 6],
[4, 0, 8, 8, 4, 7],
[8, 3, 3, 8, 7, 9],
[5, 6, 1, 3, 1, 4]])
In [7]: r = np.fromfile('r.data', dtype=np.int64)
In [8]: r = r.reshape(shape)
In [9]: r[:6,:6]
Out[9]:
array([[0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0]])
np.save()做了类似的奇怪事情.
搜索网后,我发现OSX中存在一个已知错误：
https://github.com/numpy/numpy/issues/2806
当我尝试使用Python的read()从文件中读取tostring()数据时,出现内存错误.
有没有更好的方法呢？任何人都可以为这个问题推荐一个实用的解决方法吗？
解决方法:
使用mmap对文件进行内存映射,使用np.frombuffer创建指向缓冲区的数组.在x86_64 Linux上测试：
# `r.data` created as in the question
>>> import mmap
>>> with open('r.data') as f:
... m = mmap.mmap(f.fileno(), 0, mmap.MAP_SHARED, mmap.PROT_READ)
...
>>> r = np.frombuffer(m, dtype='int64')
>>> r = r.reshape(shape)
>>> r[:6, :6]
array([[7, 5, 9, 5, 3, 5],
[2, 7, 2, 6, 7, 0],
[9, 4, 8, 2, 5, 0],
[7, 2, 4, 6, 6, 7],
[2, 9, 2, 2, 2, 6],
[5, 2, 2, 6, 1, 5]])
请注意,此处r是内存映射数据的视图,这使得它更具内存效率,但具有自动获取文件内容更改的副作用.如果你想让它指向数据的私有副本,就像np.fromfile返回的数组一样,添加一个r = np.copy(r).
(另外,正如所写,这不会在Windows下运行,这需要稍微不同的mmap标志.)
内容总结
以上是互联网集市为您收集整理的python – 具有非常大的数组的numpy tofile()保存全零全部内容，希望文章能够帮你解决python – 具有非常大的数组的numpy tofile()保存全零所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。