在Linux中,可以使用uniq
命令来去除文件中的重复行
- 首先,确保你的文件已经排序。如果文件未排序,可以使用
sort
命令对文件进行排序:
sort input_file > sorted_file
这将创建一个名为sorted_file
的新文件,其中包含按字母顺序排列的行。
- 然后,使用
uniq
命令从排序后的文件中删除重复行:
uniq sorted_file > unique_file
这将创建一个名为unique_file
的新文件,其中包含去除重复行后的内容。
- 如果你想直接修改原始文件,可以使用
-i
选项:
uniq -i input_file > output_file
这将直接在input_file
中删除重复行,并将结果保存到output_file
中。如果你想覆盖原始文件,请使用-d
选项:
uniq -d input_file > output_file
这将删除重复行并将结果保存到output_file
中,同时保留第一个出现的重复行。