如何去掉一個文件中重複的數據行

一、去掉相鄰重複的數據行

$cat data1.txt | uniq 

輸出：

beijing
wuhan
beijing
wuhan

二、去掉所有重複的數據行

$cat data1.txt | sort | uniq

注：只有uniq命令的話，只是把相鄰的重複的數據行去掉。如果先 sort 的話，就會把所有重複的數據行變成相鄰的數據行，再 uniq 的話，就去掉所有重複的數據行了。

輸出：

beijing
wuhan

附：data1.txt

[root@syy ~]# cat data1.txt
beijing
beijing
wuhan
wuhan
wuhan
beijing
beijing
beijing
wuhan
wuhan

注：在過濾日誌中的IP地址很有用。