大文件的排序和去重 超級簡單的實現

大文件的排序和去重 超級簡單的實現

有一道校招生的面試題，是要給一個很大的文件（不能全部放內存，比如1T）按行來排序和去重。

一種簡單解決方案就是分而治之，先打大文件分詞大小均勻的若干個小文件，然後對小文件排好序，最後再Merge所有的小文件，在Merge的過程中去掉重複的內容。

在Linux下實現這個邏輯甚至不用自己寫代碼，只要用shell內置的一些命令: split, sort就足夠了。我們把這個流程用腳本串起來，寫到shell腳本文件裏。文件名叫sort_uniq.sh.

 1 #!/bin/bash
 2 lines=$(wc -l $1 | sed 's/ .*//g')
 3 lines_per_file=`expr $lines / 20`
 4 split -d -l $lines_per_file $1 __part_$1
 5 
 6 for file in __part_*
 7 do
 8 {
 9   sort $file > sort_$file
10 } &
11 done
12 wait
13 
14 sort -smu sort_* > $2
15 rm -f __part_*
16 rm -f sort_*  

使用方法：./sort_uniq.sh file_to_be_sort file_sorted

這段代碼把大文件分詞20或21個小文件，後臺並行排序各個小文件，最後合併結果並去重。

如果只要去重，不需要排序，還有另外一種思路：對文件的每一行計算hash值，按照hash值把該行內容放到某個小文件中，假設需要分詞100個小文件，則可以按照（hash % 100）來分發文件內容，然後在小文件中實現去重就可以了。