硬件環境:
win7 64bit、hadoop2.6
1、軟件安裝配置
- JDK配置
2、下載eclipse 4.4(luna)
- eclipse配置hadoop-eclipse-plugins插件
- 下載eclipse-hadoop2.6.jar 插件
- 鏈接: https://pan.baidu.com/s/1bMeelC 密碼: 36ae
- 把hadoop-eclipse-plugin-2.6.0.jar拷貝到eclipse\plugins目錄下,重啓一下Eclipse,然後可以看到DFS Locations,如圖所示:
- 2.2 打開Window-->Preferens,可以看到Hadoop Map/Reduc選項,然後點擊,然後添加hadoop-2.6.0進來,如圖所示:
2.3 配置Map/ReduceLocations
- 點擊Window-->Show View -->MapReduce Tools 點擊Map/ReduceLocation
- 點擊Map/ReduceLocation選項卡,。
- 點擊New Hadoop location
-
修改其中的內容:
我的hadoop安裝在虛擬機上,地址爲192.168.48.129
修改其中內容:
Map/Reduce Master 這個框裏
Host:就是jobtracker 所在的集羣機器,這裏寫192.168.48.129
Hort:就是jobtracker 的port,這裏寫的是9001
Map/Reduce Master 這個框裏:這兩個參數就是mapred-site.xml裏面mapred.job.tracker裏面的ip和port
DFS Master 這個框裏
Host:就是namenode所在的集羣機器,這裏寫192.168.48.129
Port:就是namenode的port,這裏寫9000
DFS Master 這個框裏:這兩個參數就是core-site.xml裏面fs.defaultFS(或fs.default.name)裏面的ip和portuser name:這個是連接hadoop的用戶名
因爲我是用hadoop用戶安裝的hadoop,而且沒建立其他的用戶,所以用hadoop。下面的不用填寫。然後點擊finish按鈕,此時,這個視圖中就有多了一條記錄。
2.4 查看是否連接成功
3、新建MapReduce項目並運行
- 右擊New->Map/Reduce Project
- 新建WordCount.java(在Hadoop的share目錄下找到mapreduce的案例,copy過來)
- 在hdfs創建一個input目錄(輸出目錄可以不用創建,運行MR是會自動創建),並上傳一個file1.txt文件(隨便寫幾個單詞)
- 點擊WordCount.java右擊-->Run As-->Run COnfigurations 設置輸入和輸出目錄路徑,如圖所示:
- 點擊WordCount.java右擊-->Run As-->Run on Hadoop
然後到output/count目錄下,有一個統計文件,並查看結果,所以配置成功。
注:https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin
參考;https://my.oschina.net/muou/blog/408543