1、 两个文件的交集、并集
(1)、取出两个文件的并集（重复的行只保留一份）
cat file1 file2 | sort | uniq > file3
(2)、取出两个文件的交集（只留下同时存在于两个文件中的文件）
cat file1 file2 | sort | uniq -d > file3
(3)、 删除交集，留下其他的行
cat file1 file2 | sort | uniq -u > file3
2、一个文件去掉重复的行
(1)、 重复的多行记为一行
sort file |uniq
(2)、 重复的行全部去掉
sort file |uniq -u
CSV 合并
cat *.csv > full.csv
CSV 去重，先把表头去掉再用
awk 'seen[$0]++ { print $0 > "all_dups.csv"; next } { print $0 > "all_nodups.csv" }' full.csv
'all_dups.csv’是所有冗余的记录，‘all_nodups.csv’是唯一记录；