linux去重命令有哪些

Linux 去重命令有多个，以下是一些常用的：

1. uniq：该命令用于统计连续重复行的数量，并打印出不重复的行。其基本语法如下：

uniq [选项] [文件]

例如，要查看文件 file.txt 中连续重复的行，可以使用以下命令：

uniq file.txt

2. awk：该命令可以用于去重，通过指定分隔符将文件内容分割成字段，然后比较相邻字段的值，去除重复的行。其基本语法如下：

awk -F [分隔符] '{if (!seen[$i]++) print $i}' [文件]

例如，要查看文件 file.txt 中以逗号分隔的列，并去除重复的行，可以使用以下命令：

awk -F ',' '{if (!seen[$1]++) print $0}' file.txt

3. sort：该命令可以对文件内容进行排序，然后使用 uniq 命令去除排序后连续重复的行。其基本语法如下：

sort [选项] [文件] | uniq [选项]

例如，要查看文件 file.txt 中的行，去除重复的行，并按字母顺序排序，可以使用以下命令：

sort file.txt | uniq

4. comm：该命令用于比较两个已排序的文件，并打印出两个文件中不同的行。其基本语法如下：

comm [选项] [文件1] [文件2]

例如，要比较文件 file1.txt 和 file2.txt，并打印出两个文件中不同的行，可以使用以下命令：

comm -23 file1.txt file2.txt

这些命令都可以用于 Linux 去重，具体使用哪个命令取决于你的需求和文件格式。