eclipse hadoop開發環境配置

win7下安裝hadoop完成後,接下來就是eclipse hadoop開發環境配置了。具體的操作如下:

一、在eclipse下安裝開發hadoop程序的插件
安裝這個插件很簡單,haoop-0.20.2自帶一個eclipse的插件,在hadoop目錄下的 contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar,把這個文件copy到eclipse的eclipse\plugins

目錄下,然後啓動eclipse就算完成安裝了。
這裏說明一下,haoop-0.20.2自帶的eclipse的插件只能安裝在eclipse 3.3上纔有反應,而在eclipse 3.7上運行hadoop程序是沒有反應的,所以要針對eclipse 3.7重新編譯插件。
另外簡單的解決辦法是下載第三方編譯的eclipse插件,下載地址爲:
http://code.google.com/p/hadoop-eclipse-plugin/downloads/list
由於我用的是Hadoop-0.20.2,所以下載hadoop-0.20.3-dev-eclipse-plugin.jar.
然後將hadoop-0.20.3-dev-eclipse-plugin.jar重命名爲hadoop-0.20.2-eclipse-plugin.jar,把它copy到eclipse的eclipse\plugins目錄下,然後啓動eclipse完成安裝。

安裝成功之後的標誌如圖:

1、在左邊的 project explorer 上頭會有一個 DFS locations的標誌
2、在 windows -> preferences裏面會多一個hadoop map/reduce的選項,選中這個選項,然後右邊,把下載的hadoop根目錄選中

如果能看到以上兩點說明安裝成功了。

 

二、插件安裝後,配置連接參數
插件裝完了,啓動hadoop,然後就可以建一個hadoop連接了,就相當於eclipse裏配置一個 weblogic的連接。
第一步,如圖所示,打開Map/Reduce Locations 視圖,在右上角有個大象的標誌點擊

第二步,在點擊大象後彈出的對話框進行進行參數的添加,如下圖

location name: 這個隨便填寫,我填寫的是:localhost.
Map/Reduce Master 這個框裏
Host:就是jobtracker 所在的集羣機器,這裏寫localhost
Hort:就是jobtracker 的port,這裏寫的是9001
這兩個參數就是mapred-site.xml裏面mapred.job.tracker裏面的ip和port 
DFS Master 這個框裏
Host:就是namenode所在的集羣機器,這裏寫localhost
Port:就是namenode的port,這裏寫9000
這兩個參數就是core-site.xml裏面fs.default.name裏面的ip和port
(Use M/R master host,這個複選框如果選上,就默認和Map/Reduce Master這個框裏的host一樣,如果不選擇,就可以自己定義輸入,這裏jobtracker 和namenode在一個機器上,所

以是一樣的,就勾選上)
 user name:這個是連接hadoop的用戶名,因爲我是用sony用戶安裝的hadoop,而且沒建立其他的用戶,所以就用sony。
下面的不用填寫。
然後點擊finish按鈕,此時,這個視圖中就有多了一條記錄。

 第三步,重啓eclipse並重新編輯剛纔建立的那個連接記錄,如圖現在我們編輯advance parameters tab頁

(重啓編輯advance parameters tab頁原因:在新建連接的時候,這個advance paramters  tab頁面的一些屬性會顯示不出來,顯示不出來也就沒法設置,所以必須重啓一下eclipse再進來編輯才能看到)
這裏大部分的屬性都已經自動填寫上了,其實就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml裏面的一些配置屬性展示出來。因爲在安裝hadoop的時候,其site系列配置文件裏有改動,所以這裏也要弄成一樣的設置。主要關注的有以下屬性:
fs.defualt.name:這個在General tab頁已經設置了
mapred.job.tracker:這個在General tab頁也設置了
dfs.replication:這個這裏默認是3,因爲我在hdfs-site.xml裏面設置成了1,所以這裏也要設置成1
hadoop.job.ugi:剛纔說看不見的那個,就是這個屬性,這裏要填寫:sony,Tardis,逗號前面的是連接的hadoop的用戶,逗號後面就寫死Tardis
然後點擊finish,然後就連接上了,連接上的標誌如圖:

DFS Locations下面會有一隻大象,下面會有一個文件夾,即 hdfs的根目錄,這裏就是展示的分佈式文件系統的目錄結構了。

 

到這裏爲止,Eclipse hadoop開發環境配置已經完全搭建完畢。最後,就可以在eclipse中像一般java程序那樣開發hadoop程序了。哈哈,搞定!

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章