linux – “sort filename | uniq“不适用于大文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了linux – “sort filename | uniq“不适用于大文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1337字，纯文字阅读大概需要2分钟。

内容图文

我可以从小文本文件中删除重复的条目,但不能删除大文本文件.
我有一个4MB的文件.
该文件的开头如下所示：

aa
aah
aahed
aahed
aahing
aahing
aahs
aahs
aal
aalii
aalii
aaliis
aaliis
...

我想删除重复项.
例如,“aahed”出现两次,我只希望它出现一次.

无论我试过什么单线,大名单都不会改变.

如果它输入：
sort big_list.txt | uniq |减
我知道了：

aa
aah
aahed
aahed   <-- didn't get rid of it
aahing
aahing   <-- didn't get rid of it
aahs
aahs   <-- didn't get rid of it
aal
...

但是,如果我从这个文本文件的顶部复制一小部分单词并在小块数据上重新运行命令,那么它就能达到预期效果.

这些程序是否拒绝排序,因为文件太大了？我不认为4MB非常大.它不输出警告或任何东西.

我很快编写了自己的“uniq”程序,它具有相同的行为.它适用于列表的一小部分,但对4MB文本文件没有任何作用.我的问题是什么？

编辑：
这是一个十六进制转储：

00000000  61 61 0a 61 61 68 0a 61  61 68 65 64 0a 61 61 68  |aa.aah.aahed.aah|
00000010  65 64 0d 0a 61 61 68 69  6e 67 0a 61 61 68 69 6e  |ed..aahing.aahin|
00000020  67 0d 0a 61 61 68 73 0a  61 61 68 73 0d 0a 61 61  |g..aahs.aahs..aa|
00000030  6c 0a 61 61 6c 69 69 0a  61 61 6c 69 69 0d 0a 61  |l.aalii.aalii..a|
00000040  61 6c 69 69 73 0a 61 61  6c 69 69 73 0d 0a 61 61  |aliis.aaliis..aa|

61 61 68 65 64 0a
a  a  h  e  d  \r

61 61 68 65 64 0d
a  a  h  e  d  \n

解决：不同的行分隔符

解决方法:

您可以规范化行分界符(将CR LF转换为LF)：

sed 's/\r//' big_list.txt | sort -u

内容总结

以上是互联网集市为您收集整理的linux – “sort filename | uniq“不适用于大文件全部内容，希望文章能够帮你解决linux – “sort filename | uniq“不适用于大文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---