linux – 如何使用多个线程进行zlib压缩(相同的输入源)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了linux – 如何使用多个线程进行zlib压缩(相同的输入源)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1411字，纯文字阅读大概需要3分钟。

内容图文

我的目标是在并行线程中压缩相同源的数据.
我已经定义了列表中的作业,这些作业具有读取信息(每个作业中500kb-1MB).

我的压缩器线程将使用ZLIB压缩每个块的数据并将其存储在相应作业的outbuf中.

现在,我想合并所有这些并创建一个标准ZLIB格式的输出文件.

从ZLIB RFC和浏览了pigzee的来源后,我明白了

ZLIB标题如下所示

     +---+---+
     |CMF|FLG| (2 bytes)
     +---+---+
     +---+---+---+---+
     |     DICTID    | (4 bytes. Present only when FLG.FDICT is set)
     +---+---+---+---+
     +=====================+
     |...compressed data...| (variable size of data)
     +=====================+
     +---+---+---+---+
     |     ADLER32   |  (4 bytes of variable data)
     +---+---+---+---+

就我而言,也没有字典.

所以当我组合两个压缩单元时,所有单元的标题都是相同的.

因此,我正在做以下的操作.

>对于第一个单元,我正在编写标头压缩数据.
>对于最后一个单元的第二个单元,我只写了压缩数据(没有标题和没有预告片)
>完成所有单元后,我使用adlrer32_combine()并将所有作业输出数据的校验和转换为最终的一个adler 32,然后我在底部更新输出文件.

但问题是,我在deflate期间收到错误,说某些地方的数据无效.

有人已经尝试过这样的事吗？任何相关信息都会非常有用.

解决方法:

您不能简单地连接原始deflate数据流.每个放气流都是自终止的,因此解压缩将在第一个流的末尾结束.

您需要更仔细地查看pigz代码以了解如何合并deflate流.您可以使用Z_SYNC_FLUSH完成最后一个块并将其带到字节边界而不结束deflate流.然后,您可以完成放气流,并剥离标记为结束块的最后一个空块.除了应该正常终止的最后一个deflate流.然后,您可以连接一系列n-1个未终止的deflate流和最后一个终止的deflate流.

内容总结

以上是互联网集市为您收集整理的linux – 如何使用多个线程进行zlib压缩(相同的输入源)全部内容，希望文章能够帮你解决linux – 如何使用多个线程进行zlib压缩(相同的输入源)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---