sort file_name
當file_name文件裏包含漢字時，並且文件編碼不是utf8的時候，就可能會失效，你會發現相同的字符串，卻不在相鄰行
另外uniq命令也是，
uniq file_name
當file_name文件裏包含漢字時，並且文件編碼不是utf8的時候，就可能會失效，你會發現重複的行沒有被去重掉
sort -u file_name
sort -u 問題會表現的更加嚴重，把不是相同的行，都給幹掉了
解決方法
iconv -f cp936 -t utf-8 file_name | sort |uniq | iconv -f utf-8 -t cp936 >file_name.uniq
上面iconv命令轉換了一次編碼，cp936可能需要修改，你的文件是gbk的時候是cp936