一、安裝準備
1、JDK版本:jdk1.7.0
2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本:Eclipse Java EE IDE for Web Developers.
Version: Juno Service Release 1
4、eclipse與hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
5、操作系統:ubuntu Server 12.04
一、在windows上通過WEB查看hadoop相關信息
1.修改C:\WINDOWS\system32\drivers\etc\hosts文件,加入主機名與IP對應關係:
2.訪問:http://hadoop-master:50030 可以查看JobTracker的運行狀態:
訪問:http://hadoop-master:50070 可以查看NameNode及整個分佈式文件系統的狀態等:
3.安裝開發hadoop插件
將hadoop安裝包hadoop\contrib\eclipse-plugin\hadoop-1.1.1-eclipse-plugin.jar拷貝到eclipse的插件目錄plugins下。
需要注意的是插件版本(及後面開發導入的所有jar包)與運行的hadoop一致,否則可能會出現EOFException異常。
重啓eclipse,打開windows->open perspective->other->map/reduce可以看到map/reduce開發視圖。
4 .設置連接參數
打開windows->show view->other-> map/reduceLocations視圖,在點擊大象後彈出的對話框(General tab)進行參數的添加:
參數說明如下:
Locationname:任意
map/reduce master:與mapred-site.xml裏面mapred.job.tracker設置一致。
DFSmaster:與core-site.xml裏fs.default.name設置一致。
Username: 服務器上運行hadoop服務的用戶名。
然後是打開“Advanced parameters”設置面板,修改相應參數。上面的參數填寫以後,也會反映到這裏相應的參數:
主要關注下面幾個參數:
fs.defualt.name:與core-site.xml裏fs.default.name設置一致。
mapred.job.tracker:與mapred-site.xml裏面mapred.job.tracker設置一致。
dfs.replication:與hdfs-site.xml裏面的dfs.replication一致。
hadoop.tmp.dir:與core-site.xml裏hadoop.tmp.dir設置一致。
hadoop.job.ugi:並不是設置用戶名與密碼。是用戶與組名,所以這裏填寫hadoop,hadoop。
說明:第一次設置的時候可能是沒有hadoop.job.ugi和dfs.replication參數的,不要緊,確認保存。打開Project Explorer中DFSLocations目錄,應該可以年看到文件系統中的結構了。但是在/hadoop/mapred/system下卻沒有查看權限,如下圖: