java合併文件夾下的所有文件轉成txt可對結果進行去重

其實這個方法有點傻，可以藉助於數據庫，將數據庫的表用poi讀出csv文件，去重在數據庫中做比較好，這個方法是沒提供數據庫前提下可以使用 

import java.io.*;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class MergeFile {

    /**
     * 合併多個文件
     * @param outfile
     * @param dictionary
     * @return
     * @throws IOException
     */
    public static boolean unionFile(String outfile,String dictionary) throws IOException {
        boolean result=false;
        List<Object> list = null;//需要放值的list
        Map<String, Object> outMap = new HashMap<>();
        List<File> fileList=getFiles(dictionary);
        File fout=new File(outfile);
        FileWriter fw=new FileWriter(fout);
        for(File f:fileList){
            FileReader fr = new FileReader(f);
            BufferedReader br = new BufferedReader(fr);
            String line = br.readLine();
            while (line != null) {
                String[] strs = line.split("\t");//如果想要轉成對象需要在此處new對象放值在外邊定義個list存，然後再對list去重再寫到文件中所以轉對象的時候不要寫fw.append那行 for 循環strs 放入list中
                fw.append(line+"\n");//轉對象不寫
                line=br.readLine();//一定要有
            }
            fr.close();
        }
        //start 如果去重則需要以下
        for (Object file : list) {
            if (outMap.containsKey(file.getId())) {
                if (outMap.get(file.getId()).getLastModified().compareTo(file.getLastModified()) < 0) {//當前file中的時間大於map中的替換掉
                    outMap.put(file.getId(), file);
                }
            } else {
                outMap.put(file.getId(), file);
            }
        }
        for (Object o : outMap.values()) {
            String content = "拼接o中的數據項用\t分隔比較好不容易撞";
            fw.append(content + "\n");
            fw.write(System.getProperty("line.separator"));
        }
        //end 結束如果不需要去重則不要加
        fw.close();
        result=true;
        return result;
    }

    public static List<File> getFiles(String path){
        File root = new File(path);
        List<File> files = new ArrayList<File>();
        if(!root.isDirectory()){
            files.add(root);
        }else{
            File[] subFiles = root.listFiles();
            for(File f : subFiles){
                if(!f.isHidden()) {
                    files.addAll(getFiles(f.getAbsolutePath()));
                }
            }
        }
        return files;
    }

    public static void main(String[]args)throws Exception{
        //test文件夾下的所有文件合併成all下的test.txt
        unionFile("/Users/xxxx/data/a/b/all/test.txt","/Users/xxxx/data/a/b/test");
    }

}