乐工具技术知识在Linux中，可以使用uniq命令来去除连续重复的行
uniq：默认情况下，uniq命令会删除连续重复的行。例如：
$ cat input.txt a a b b c c d $ uniq input.txt a b c d
uniq -c：使用-c选项，uniq会显示每行重复的次数。例如：
$ cat input.txt a a b b c c d $ uniq -c input.txt 1 1 1 1
uniq -d：使用-d选项，uniq只会显示重复的行，而不显示它们出现的次数。例如：
$ cat input.txt a a b b c c d $ uniq -d input.txt a b c d
uniq -f：使用-f选项，uniq会忽略每行开头的指定数量的字符。例如，如果我们要忽略前两个字符，可以这样使用：
$ cat input.txt aa aa bb bb cc cc dd $ uniq -f 2 input.txt aa bb cc dd
uniq -w：使用-w选项，uniq会忽略每行开头的指定数量的字符。例如，如果我们要忽略前两个字符，可以这样使用：
$ cat input.txt aa aa bb bb cc cc dd $ uniq -w 2 input.txt aa bb cc dd
- 结合其他命令：
uniq命令通常与其他命令一起使用，例如grep、sed等，以实现更复杂的文本处理。例如，要找到包含重复行的文件，可以这样做：
$ grep -o '.+' input.txt | sort | uniq -c | sort -nr | awk '$1 > 1 {print $2}'
这个命令首先使用grep提取所有行，然后使用sort对行进行排序，接着使用uniq -c计算每行重复的次数，再使用sort -nr按重复次数降序排序，最后使用awk输出重复行所在的文件名。
