比較兩個大文本文件的差異並輸出增量和減量

現有兩個4G大小、按行分割、每行爲50字符(大小寫字母)的text文件A, B, 現在需要在有限的內存下(如2G)以B文件爲基準，計算出B相對於A增加了哪些數據和減少了哪些數據，分別以added.txt和deleted.txt命名保存。要求不能使用Spark或Hadoop這樣的大數據處理框架。

思路：
首先使用外排序算法對A, B分別按字典序排序，輸出a.sorted和b.sorted兩個文件，然後再遵循以下步驟逐行對比即可：

• 先分別讀取lineA和lineB
• 如果B比A大，則把lineA輸出至added.txt中, 然後更新lineA至下一行
• 如果B比A小，則將lineB輸出至deleted.txt中，然後更新lineB至下一行
• 如果B與A相等，則將lineA和lineB分別更新至下一行
• 如果A已經EOF, 則將B中剩下所有的行都輸出至added.txt中
• 如果B已經EOF, 則將A中剩下所有的行都輸出至deleted.txt中

至於外排序，如果用的是 Java 的話就很方便了，可以直接使用第三方庫

        <dependency>
            <groupId>com.google.code.externalsortinginjava</groupId>
            <artifactId>externalsortinginjava</artifactId>
            <version>0.2.5</version>
        </dependency>

實現。