uniq命令作用：输出或者忽略文件中的重复行格式: uniq [option] [file|stdin]ghostwu@dev:~/linux/uniq$ cat ghostwu.txt 192.168.1.2192.168.1.8192.168.1.3192.168.1.3192.168.1.9192.168.1.8192.168.1.8192.168.1.0192.168.1.3 ghostwu@dev:~/linux/uniq$ uniq ghostwu.txt 192.168.1.2192.168.1.8192.168.1.3192.168.1.9192.168.1.8192.168.1.0192.168.1.3去掉了连续的重复行.如果只想保留文件中的唯一，可以用选项-ughostwu...
(1)两个文件的交集，并集前提条件：每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)cat file1 file2 | sort | uniq > file32. 取出两个文件的交集(只留下同时存在于两个文件中的文件)cat file1 file2 | sort | uniq -d > file33. 删除交集，留下其他的行cat file1 file2 | sort | uniq -u > file3(2)两个文件合并一个文件在上，一个文件在下cat file1 file2 > file3一个文件在左，一个文件在右paste file1 file2...
文件格式 如何过滤一下IP地址，并去重 ip - 时间 - 内容 ip2 -时间 - 内容 ip3 -时间 - 内容 ip4 -时间 - 内容 ip5 -时间 - 内容 ...code cat access.log |awk -F - {print $1}|sort|uniq 释义cat file // 输出全文件 awk -F seprator // 指定分隔符切割 {print $1} //只输出切割后的第一个值 sort //对内容排序 uniq // 相邻行去掉重复效果
一、前言 相信很多同学有这样的需求，现在很多公司都有多地的研发中心，经常需要跨地区部署，比如，博主人在成都，但是服务器是北京的。一般城市间网络都不怎么好，上传一个几十兆的jar包那是真的慢，别说现在微服务架构下，动辄两位数的fat jar。这里说的jar，就是spring boot项目打出来的fat jar类型，一般也有个几十兆吧。 博主之前还遇到部署北美亚马逊环境，好不容易传个包过去，后来发现有bug，需要改class，如果重新打包再传...