MapReduce 緩存文件

/**
   * Called once at the beginning of the task.
   */
  protected void setup(Context context ) throws IOException,InterruptedException {
    BufferedReader bufferedReader = new BufferedReader(new FileReader("文件名"))
  }
// 指定需要緩存一個文件到所有的maptask運行節點工作目錄
        /* job.addArchiveToClassPath(archive); */// 緩存jar包到task運行節點的classpath中
        /* job.addFileToClassPath(file); */// 緩存普通文件到task運行節點的classpath中
        /* job.addCacheArchive(uri); */// 緩存壓縮包文件到task運行節點的工作目錄
        /* job.addCacheFile(uri) */// 緩存普通文件到task運行節點的工作目錄

        // 將產品表文件緩存到task工作節點的工作目錄中去
        job.addCacheFile(new URI("file:/D:/srcdata/mapjoincache/pdts.txt"));

        //map端join的邏輯不需要reduce階段,設置reducetask數量爲0
        job.setNumReduceTasks(0);
發佈了118 篇原創文章 · 獲贊 10 · 訪問量 7萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章