hadoop中wordcount遍歷子目錄的情況

hadoop中的wordcount示例,只能統計一個目錄下的所有文件的內容,但是如果目錄中還有目錄,怎麼辦呢?

我實驗了一下,不能計算目錄中層級目錄中的文件?


子目錄只能用FileInputFormat.addInputPath

  1. FileStatus[] fileStatus = fs.listStatus(path);        
  2. for(int i=0;i<fileStatus.length;i++){
  3.             if(fileStatus[i].isDir()){
  4.                 Path p = new Path(fileStatus[i].getPath().toString());
  5.                 getFile(p,fs);
  6.             }else{
  7.                 System.out.println(fileStatus[i].getPath().toString());
  8.             }
複製代碼
可以便利目錄,然後採用addinputpath。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章