在Linux中,如何将输入流压缩为多个输出文件？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在Linux中,如何将输入流压缩为多个输出文件？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含911字，纯文字阅读大概需要2分钟。

内容图文

我知道怎么做：

commandGeneratingLotsOfSTDOUT | bzip2 -z -c > compressed.bz2

我也知道怎么做：

commandGeneratingLotsOfSTDOUT | split -l 1000000

但我不知道该怎么做：

commandGeneratingLotsOfSTDOUT | split -l 1000000 -compressCommand "bzip2 -z -c"

如果上面的内容尚未100％清除,我正在运行一个生成TB或两个输出的命令.我希望将输出分成N行的块(在这种情况下为100万),并将每个块压缩为bzip2并存储在文件中.

现在我做的是：

commandGeneratingLotsOfSTDOUT | split -l 1000000
foreach fileGenerated { bzip2 -z thatFile }

这为每个文件添加了额外的磁盘写入和从磁盘读取(并再次写入磁盘,尽管已压缩)！由于文件都大于RAM,因此转换为实际的磁盘使用情况.

解决方法:

怎么样：

cmdWithLotsOfSTDOUT | split -l 1000000 --filter 'bzip2 > "$FILE.bz2"'

一个例子：

$ls
afile

$cat afile
one
two
three
four
five
six
seven
eight
nine
ten

$cat afile | split -l 2 --filter='bzip2 > "$FILE.bz2"'

$ls
afile  xaa.bz2  xab.bz2  xac.bz2  xad.bz2  xae.bz2

$bzip2 -dc xac.bz2
five
six

$

内容总结

以上是互联网集市为您收集整理的在Linux中,如何将输入流压缩为多个输出文件？全部内容，希望文章能够帮你解决在Linux中,如何将输入流压缩为多个输出文件？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---