本地多級文件 合併上傳到hdfs（遞歸上傳）

package com.hdfs;


import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;


import com.beicai.utils.MyUtils;
/**
 * 
 * @described 本地多級文件 合併上傳到hdfs（遞歸上傳）
 */
public class HdfsWork1 {
public static void main(String[] args) throws Exception {
myMerge();
}

public static void myWrite(Path path,LocalFileSystem lfs,FSDataOutputStream fsdos) throws Exception{
FileStatus[] fst = lfs.listStatus(path);//獲得本地文件的數組
FSDataInputStream fsdis = null;
for(int i=0;i<fst.length;i++){
if(fst[i].isDirectory()){//是文件夾繼續調用本方法
myWrite(fst[i].getPath(),lfs,fsdos);
} else {
fsdis = lfs.open(fst[i].getPath());//打開文件輸入流
int read = 0;
byte[] buffer = new byte[255];
while((read=fsdis.read(buffer))>0){//讀取文件並輸出到hdfs上
fsdos.write(buffer, 0, read);
}
IOUtils.closeStream(fsdis);//關閉文件輸入流
}
}
}

public static void myMerge() throws Exception{
FileSystem fs = MyUtils.getFileSystem();//獲取hdfs文件系統
LocalFileSystem lfs = MyUtils.getLocalFileSystem();//獲得本地文件系統
Path localPath = new Path("D:/data");//本地路徑
Path hdfsPath = new Path("/data/file1.txt");//hdfs路徑

FSDataOutputStream fsdos = fs.create(hdfsPath);//dfs文件輸出流
myWrite(localPath,lfs,fsdos);//調用遞歸方法
IOUtils.closeStream(fsdos);//關閉輸出流
}

}

下面是工具類

package com.utils;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;


/**
 * 
 * @described 獲取文件系統
 * @author 
 * @date 
 * @see 
 */
public class MyUtils {

public static FileSystem getFileSystem() throws Exception{
Configuration conf =new Configuration();
FileSystem fs = FileSystem.newInstance(conf);
return fs;
}
public static LocalFileSystem getLocalFileSystem() throws Exception{
return FileSystem.newInstanceLocal(new Configuration());
}
}