java合并文件夹下的所有文件转成txt可对结果进行去重

其实这个方法有点傻，可以借助于数据库，将数据库的表用poi读出csv文件，去重在数据库中做比较好，这个方法是没提供数据库前提下可以使用 

import java.io.*;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class MergeFile {

    /**
     * 合并多个文件
     * @param outfile
     * @param dictionary
     * @return
     * @throws IOException
     */
    public static boolean unionFile(String outfile,String dictionary) throws IOException {
        boolean result=false;
        List<Object> list = null;//需要放值的list
        Map<String, Object> outMap = new HashMap<>();
        List<File> fileList=getFiles(dictionary);
        File fout=new File(outfile);
        FileWriter fw=new FileWriter(fout);
        for(File f:fileList){
            FileReader fr = new FileReader(f);
            BufferedReader br = new BufferedReader(fr);
            String line = br.readLine();
            while (line != null) {
                String[] strs = line.split("\t");//如果想要转成对象需要在此处new对象放值在外边定义个list存，然后再对list去重再写到文件中所以转对象的时候不要写fw.append那行 for 循环strs 放入list中
                fw.append(line+"\n");//转对象不写
                line=br.readLine();//一定要有
            }
            fr.close();
        }
        //start 如果去重则需要以下
        for (Object file : list) {
            if (outMap.containsKey(file.getId())) {
                if (outMap.get(file.getId()).getLastModified().compareTo(file.getLastModified()) < 0) {//当前file中的时间大于map中的替换掉
                    outMap.put(file.getId(), file);
                }
            } else {
                outMap.put(file.getId(), file);
            }
        }
        for (Object o : outMap.values()) {
            String content = "拼接o中的数据项用\t分隔比较好不容易撞";
            fw.append(content + "\n");
            fw.write(System.getProperty("line.separator"));
        }
        //end 结束如果不需要去重则不要加
        fw.close();
        result=true;
        return result;
    }

    public static List<File> getFiles(String path){
        File root = new File(path);
        List<File> files = new ArrayList<File>();
        if(!root.isDirectory()){
            files.add(root);
        }else{
            File[] subFiles = root.listFiles();
            for(File f : subFiles){
                if(!f.isHidden()) {
                    files.addAll(getFiles(f.getAbsolutePath()));
                }
            }
        }
        return files;
    }

    public static void main(String[]args)throws Exception{
        //test文件夹下的所有文件合并成all下的test.txt
        unionFile("/Users/xxxx/data/a/b/all/test.txt","/Users/xxxx/data/a/b/test");
    }

}