在Linux中,可以使用uniq
命令来去除文本文件中的重复行
- 删除连续的重复行:
uniq
- 删除所有重复行,仅保留第一次出现的行:
uniq -u
- 删除重复行,同时保留每组重复行的第一个出现的行和最后一个出现的行:
uniq -d -r
- 删除重复行,同时保留每组重复行的第一个出现的行和最后一个出现的行,并输出行号:
uniq -dnr
示例:
假设有一个名为file.txt
的文件,内容如下:
apple banana apple orange banana grape
要删除重复行,仅保留第一次出现的行,可以使用以下命令:
uniq -u file.txt
输出结果:
apple banana orange grape