Hadoop2.2.0 Eclipse開發環境搭建(xp下)

1、下載安裝eclipse插件

到http://wiki.apache.org/hadoop/EclipsePlugIn上下載對應的eclipse插件,或者百度。本文下載的插件名爲hadoop-eclipse-plugin-2.2.0.jar,下載完後copy到eclipse的plugin目錄中,重啓eclipse即可看見如下界面,如果能看到以下兩點說明安裝成功了。

(1)、在左邊的 project explorer 上頭會有一個 DFS locations的標誌

(2)、在 windows -> preferences裏面會多一個hadoop map/reduce的選項,選中這個選項,然後右邊,把下載的hadoop根目錄選中(如D:\hadoop\hadoop-2.2.0)。

 插件下載

2、配置連接參數

插件裝完了,啓動hadoop,然後就可以建一個hadoop連接了,就相當於eclipse裏配置一個 weblogic的連接。

第一步,如圖所示,打開Map/Reduce Locations 視圖,在右上角有個大象的標誌點擊。

 

第二步,在點擊大象後彈出的對話框進行進行參數的添加。

General tab頁:

location name: 這個隨便填寫,我填寫的是:localhost.

Map/Reduce Master 這個框裏

Host:就是resourcemanager(hadoop1.x爲jobtracker)所在的集羣機器,這裏寫x.x.x.x

Hort:就是resourcemanager(hadoop1.x爲jobtracker) 的port,這裏寫的是8083

這兩個參數就是對應yarn-site.xml中yarn.resourcemanager.address屬性值 

DFS Master 這個框裏

Host:就是namenode所在的集羣機器,這裏寫x.x.x.x

Port:就是namenode的port,這裏寫9000

這兩個參數就是core-site.xml裏面fs.default.name裏面的ip和port

(Use M/R master host,這個複選框如果選上,就默認和Map/Reduce Master這個框裏的host一樣,如果不選擇,就可以自己定義輸入,這裏jobtracker 和namenode在一個機器上,所以是一樣的,就勾選上)

user name:這個是連接hadoop的用戶名,因爲我是用hecdev用戶安裝的hadoop,所以就用hecdev。如下圖。

 

advance parameters tab頁:

此頁的屬性都已經自動填寫上了,其實就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml裏面的一些配置屬性展示出來。因爲在安裝hadoop的時候,其site系列配置文件裏有改動,所以這裏也要弄成一樣的設置。主要關注的有以下屬性:

fs.defualt.name:這個在General tab頁已經設置了

mapred.job.tracker:這個在General tab頁也設置了

dfs.replication:這個這裏默認是3,因爲我在hdfs-site.xml裏面設置成了1,所以這裏也要設置成1。

然後點擊finish,這個視圖中就有多了一條記錄,然後就連接上了,連接上的標誌如圖,DFSLocations下面會有一隻大象,下面會有一個文件夾,即 hdfs的根目錄,這裏就是展示的分佈式文件系統的目錄結構了。

 

到這裏爲止,Eclipse hadoop開發環境配置已經完全搭建完畢。最後,就可以在eclipse中像一般java程序那樣開發hadoop程序了。

 

3、新建Map/Reduce Project

如無意外,在File>>New>>Project下面就會看到有Map/Reduce Project,點擊後需要配置hadoop install directory,如果用mapreduce框架配置爲/home/hadoop/hadoop/share/hadoop/mapreduce,如果用yarn框架配置爲/home/hadoop/hadoop/share/hadoop/yarn即可。

 然後就可以像一般java程序進行開發了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章