hadoop中的wordcount示例,只能統計一個目錄下的所有文件的內容,但是如果目錄中還有目錄,怎麼辦呢?我實驗了一下,不能計算目錄中層級目錄中的文件?
子目錄只能用FileInputFormat.addInputPath
-
FileStatus[] fileStatus = fs.listStatus(path);
-
for(int i=0;i<fileStatus.length;i++){
-
if(fileStatus[i].isDir()){
-
Path p = new Path(fileStatus[i].getPath().toString());
-
getFile(p,fs);
-
}else{
-
System.out.println(fileStatus[i].getPath().toString());
-
}
複製代碼
可以便利目錄,然後採用addinputpath。