eclipse搭建hadoop開發環境

一、安裝準備

1、JDK版本:jdk1.7.0
2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本:Eclipse Java EE IDE for Web Developers.
  Version: Juno Service Release 1
4、eclipse與hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
5、操作系統:ubuntu Server 12.04

一、在windows上通過WEB查看hadoop相關信息

1.修改C:\WINDOWS\system32\drivers\etc\hosts文件,加入主機名與IP對應關係:

2.訪問:http://hadoop-master:50030 可以查看JobTracker的運行狀態:

訪問:http://hadoop-master:50070 可以查看NameNode及整個分佈式文件系統的狀態等:






3.安裝開發hadoop插件

將hadoop安裝包hadoop\contrib\eclipse-plugin\hadoop-1.1.1-eclipse-plugin.jar拷貝到eclipse的插件目錄plugins下。

需要注意的是插件版本(及後面開發導入的所有jar包)與運行的hadoop一致,否則可能會出現EOFException異常。

 

重啓eclipse,打開windows->open perspective->other->map/reduce可以看到map/reduce開發視圖。


4 .設置連接參數

打開windows->show view->other-> map/reduceLocations視圖,在點擊大象後彈出的對話框(General tab)進行參數的添加:





參數說明如下:

 Locationname:任意

  map/reduce master:與mapred-site.xml裏面mapred.job.tracker設置一致。

DFSmaster:與core-site.xmlfs.default.name設置一致。

Username: 服務器上運行hadoop服務的用戶名。

 

然後是打開“Advanced parameters”設置面板,修改相應參數。上面的參數填寫以後,也會反映到這裏相應的參數:

主要關注下面幾個參數:

fs.defualt.name:與core-site.xmlfs.default.name設置一致。

mapred.job.tracker:與mapred-site.xml裏面mapred.job.tracker設置一致。

dfs.replication:與hdfs-site.xml裏面的dfs.replication一致。

hadoop.tmp.dir:與core-site.xmlhadoop.tmp.dir設置一致。

hadoop.job.ugi:並不是設置用戶名與密碼。是用戶與組名,所以這裏填寫hadoop,hadoop


說明:第一次設置的時候可能是沒有hadoop.job.ugidfs.replication參數的,不要緊,確認保存。打開Project ExplorerDFSLocations目錄,應該可以年看到文件系統中的結構了。但是在/hadoop/mapred/system下卻沒有查看權限,如下圖:






發佈了14 篇原創文章 · 獲贊 11 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章