首页 / PYTHON / python – 将bz2压缩二进制文件导入为numpy数组

python – 将bz2压缩二进制文件导入为numpy数组

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 将bz2压缩二进制文件导入为numpy数组，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1150字，纯文字阅读大概需要2分钟。

内容图文

我有一个包含数据数组的bz2压缩二进制(big endian)文件.使用外部工具解压缩然后将文件读入Numpy工作：

import numpy as np
dim = 3
rows = 1000
cols = 2000
mydata = np.fromfile('myfile.bin').reshape(dim,rows,cols)

但是,由于还有很多其他类似的文件,我无法事先单独提取每个文件.因此,我发现Python中的bz2模块可能能够在Python中直接解压缩它.但是我收到一条错误消息：

dfile = bz2.BZ2File('myfile.bz2').read()
mydata = np.fromfile(dfile).reshape(dim,rows,cols)

>>IOError: first argument must be an open file

显然,BZ2File函数不返回文件对象.你知道读取压缩文件的正确方法是什么吗？

解决方法:

BZ2File确实返回一个类文件对象(虽然不是实际文件).问题是你正在调用read()：

dfile = bz2.BZ2File('myfile.bz2').read()

这会将整个文件作为一个大字符串读入内存,然后将其传递给file.

根据您的numpy和python版本以及您的平台,从类似文件的对象(非实际文件)中读取可能不起作用.在这种情况下,您可以使用frombuffer读入的缓冲区.

所以,要么：

dfile = bz2.BZ2File('myfile.bz2')
mydata = np.fromfile(dfile).reshape(dim,rows,cols)

… 或这个：

dbuf = bz2.BZ2File('myfile.bz2').read()
mydata = np.frombuffer(dbuf).reshape(dim,rows,cols)

(毋庸置疑,还有一些其他选择可能比将整个缓冲区读入内存更好.但如果你的文件不是太大,这将有效.)

内容总结

以上是互联网集市为您收集整理的python – 将bz2压缩二进制文件导入为numpy数组全部内容，希望文章能够帮你解决python – 将bz2压缩二进制文件导入为numpy数组所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/722035.html

来源：【匿名】