win7下eclipse運行wordcount例子 原

硬件環境:

win7 64bit、hadoop2.6

1、軟件安裝配置

  1. JDK配置

2、下載eclipse 4.4(luna)

  1. eclipse配置hadoop-eclipse-plugins插件 
  2. 下載eclipse-hadoop2.6.jar 插件
  3. 鏈接: https://pan.baidu.com/s/1bMeelC 密碼: 36ae
  4. 把hadoop-eclipse-plugin-2.6.0.jar拷貝到eclipse\plugins目錄下,重啓一下Eclipse,然後可以看到DFS Locations,如圖所示:
  5. 2.2 打開Window-->Preferens,可以看到Hadoop Map/Reduc選項,然後點擊,然後添加hadoop-2.6.0進來,如圖所示:

2.3 配置Map/ReduceLocations

  1. 點擊Window-->Show View -->MapReduce Tools  點擊Map/ReduceLocation 
  2. 點擊Map/ReduceLocation選項卡,
  3. 點擊New Hadoop location
  4. 修改其中的內容:

    我的hadoop安裝在虛擬機上,地址爲192.168.48.129

    修改其中內容:

    Map/Reduce Master 這個框裏
    Host:就是jobtracker 所在的集羣機器,這裏寫192.168.48.129
    Hort:就是jobtracker 的port,這裏寫的是9001
    Map/Reduce Master 這個框裏:這兩個參數就是mapred-site.xml裏面mapred.job.tracker裏面的ip和port
    DFS Master 這個框裏
    Host:就是namenode所在的集羣機器,這裏寫192.168.48.129
    Port:就是namenode的port,這裏寫9000
    DFS Master 這個框裏:這兩個參數就是core-site.xml裏面fs.defaultFS(或fs.default.name)裏面的ip和port

    user name:這個是連接hadoop的用戶名

    因爲我是用hadoop用戶安裝的hadoop,而且沒建立其他的用戶,所以用hadoop。下面的不用填寫。然後點擊finish按鈕,此時,這個視圖中就有多了一條記錄。

2.4 查看是否連接成功

3、新建MapReduce項目並運行

  1. 右擊New->Map/Reduce Project
  2. 新建WordCount.java(在Hadoop的share目錄下找到mapreduce的案例,copy過來)
  3. 在hdfs創建一個input目錄(輸出目錄可以不用創建,運行MR是會自動創建),並上傳一個file1.txt文件(隨便寫幾個單詞)   
  4. 點擊WordCount.java右擊-->Run As-->Run COnfigurations   設置輸入和輸出目錄路徑,如圖所示:
  5.   
  6. 點擊WordCount.java右擊-->Run As-->Run on  Hadoop   

然後到output/count目錄下,有一個統計文件,並查看結果,所以配置成功。

注:https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin

參考;https://my.oschina.net/muou/blog/408543

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章