Hadoop中的SequenceFile系統之二

上篇文章中完成了Hadoop系統的分佈式部署。
本篇文章主要是實現，如何進行小文件的序列化。

由於在服務器中的日誌文件並不是完整的在一個根目錄下的，因此我在代碼中，添加了根目錄判斷的功能。
可以在部署到Linux服務器後，只要輸入一個需要序列化的文件夾，即可自動判斷文件夾中的小文件，然後進行序列化。

下面是完整的代碼：

package com.hadoop.CRUD;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.File;
import java.net.URI;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Set;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
/**
 * 
 * @author SamllSunL
 *
 */

public class SequenceFileRead {

    public static void main(String[] args) throws IOException {
        String seqFsUrl = args[0];
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(seqFsUrl), conf);
        Path seqPath = new Path(seqFsUrl);
        Text value = new Text();
        String filesPath = args[1];
        /**
         * 讀取到根節點
         */
        ArrayList<String> listFileName = new ArrayList<String>();
        ArrayList<String> listParentFile = new ArrayList<String>();
        getAllFileName(filesPath, listFileName, listParentFile);
        listParentFile = removeDuplicateWithOrder(listParentFile);
        simpleFile2Sequence(listParentFile, fs, conf, seqPath, value);

    }

    /**
     * 獲取根級文件的上一級目錄
     * 
     * @param path
     * @param fileName
     * @param parentFile
     */
    public static void getAllFileName(String path, ArrayList<String> fileName,
            ArrayList<String> parentFile) {
        File file = new File(path);
        File[] files = file.listFiles();
        String[] names = file.list();
        if (names != null)
            fileName.addAll(Arrays.asList(names));
        for (File a : files) {
            if (a.isDirectory()) {
                getAllFileName(a.getAbsolutePath(), fileName, parentFile);
            } else {
                parentFile.add(a.getAbsolutePath());
            }
        }
    }

    /**
     * 去除重複數據
     * 
     * @param list
     * @return
     */
    public static ArrayList<String> removeDuplicateWithOrder(
            ArrayList<String> list) {
        Set<String> set = new HashSet<String>();
        List<String> newList = new ArrayList<String>();
        for (Iterator<String> iter = list.iterator(); iter.hasNext();) {
            String element = iter.next();
            if (set.add(element))
                newList.add(element);
        }
        list.clear();
        list.addAll(newList);
        return list;
    }

    /**
     * 
     * 小文件打包成Sequence文件
     * 
     * @param filesPath
     * @param fs
     * @param conf
     * @param seqPath
     * @param value
     * @throws IOException
     */
    @SuppressWarnings("deprecation")
    public static void simpleFile2Sequence(List<String> filesPath,
            FileSystem fs, Configuration conf, Path seqPath, Text value)
            throws IOException {

        String[] gzFiles = (String[]) filesPath.toArray(new String[filesPath
                .size()]);
        int filesLen = gzFiles.length;
        SequenceFile.Writer writer = null;
        try {// 返回一個SequenceFile.Writer實例 需要數據流和path對象 將數據寫入了path對象
            writer = SequenceFile.createWriter(fs, conf, seqPath,
                    NullWritable.class, value.getClass());
            while (filesLen > 0) {
                File gzFile = new File(gzFiles[filesLen - 1]);
                InputStream in = new BufferedInputStream(new FileInputStream(
                        gzFile));
                long len = gzFile.length();
                byte[] buff = new byte[(int) len];
                if ((len = in.read(buff)) != -1) {
                    value.set(buff);
                    writer.append(NullWritable.get(), value);// 將每條記錄追加到SequenceFile.Writer實例的末尾
                }
                System.out.println(gzFiles[filesLen - 1]);
                value.clear();
                IOUtils.closeStream(in);
                filesLen--;// !!

            }
        } finally {
            IOUtils.closeStream(writer);
        }
    }

}

代碼編寫完整後，將其打成jar包然後部署到Linux服務器上。

hadoop -dfs jar xxx.jar arg1 arg2

其中arg1爲序列化後的地址
arg2爲需要序列化的文件夾或文件