在Linux中,可以使用uniq
命令来去除文件中的重复行
- 删除连续重复行:
uniq input_file > output_file
这将把input_file
中的连续重复行删除,并将结果保存到output_file
中。如果你想直接修改原始文件,可以使用-i
选项:
uniq -i input_file > output_file
- 删除所有重复行(保留第一个出现的行):
uniq -d input_file > output_file
这将把input_file
中的所有重复行删除,并将结果保存到output_file
中。如果你想直接修改原始文件,可以使用-i
选项:
uniq -di input_file > output_file
- 结合其他命令使用:
如果你想从文件中提取不重复的行,并将其传递给其他命令(例如grep
),可以使用管道(|
):
uniq input_file | grep "pattern"
这将首先去除input_file
中的重复行,然后使用grep
搜索包含特定模式的行。