Linux下配置Eclipse、hadoop的運行

Hadoop版本:hadoop-0.20.2
Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz

 

========================安裝eclipse=======================

1、首先下載eclipse。不多說


2、安裝eclipse
(1)把eclipse-java-helios-SR2-linux-gtk.tar.gz解壓到某個目錄中,我解壓到的是/home/wangxing/Development,得到eclipse目錄

(2)在/usr/bin目錄下創建一個啓動腳本eclipse,執行下面的命令來創建:
sudo gedit /usr/bin/eclipse

然後在該文件中添加以下內容:
#!/bin/sh
export MOZILLA_FIVE_HOME="/usr/lib/mozilla/"
export ECLIPSE_HOME="/home/wangxing/Development/eclipse"
$ECLIPSE_HOME/eclipse $*

(3)修改該腳本的權限,讓它變成可執行,執行下面的命令:
sudo chmod +x /usr/bin/eclipse

 

3、在Applications(應用程序)菜單上添加一個圖標
sudo gedit /usr/share/applications/eclipse.desktop

然後在文件中添加下列內容:
[Desktop Entry]
Encoding=UTF-8
Name=Eclipse Platform
Comment=Eclipse IDE
Exec=eclipse
Icon=/home/wangxing/Development/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Development;

 

========================安裝hadoop============================

關於hadoop在Linux下僞分佈式的安裝詳見:hadoop官網

 

========================在eclipse配置hadoop====================
1.在eclipse上安裝hadoop插件
複製hadoop安裝目錄/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar到eclipse安裝目錄/plugins/ 下


2.重啓eclipse,配置hadoop installation directory。
如果安裝插件成功,打開Window-->Preferens,你會發現HadoopMap/Reduce選項,在這個選項裏你需要配置Hadoop installationdirectory。配置完成後退出。
Linux下使用Eclipse開發Hadoop應用程序

 

3.配置Map/Reduce Locations
在Window-->Show View中打開Map/ReduceLocations,在Map/Reduce Locations中新建一個HadoopLocation。在這個View中,右鍵-->New HadoopLocation。在彈出的對話框中你需要配置Location name,如Hadoop,還有Map/Reduce Master和DFSMaster。這裏面的Host、Port分別爲你在mapred-site.xml、core-site.xml中配置的地址及端口。如:

Linux下使用Eclipse開發Hadoop應用程序

 

4.新建項目。
File-->New-->Other-->Map/ReduceProject,項目名可以隨便取,如WordCount。
複製hadoop安裝目錄/src/example/org/apache/hadoop/examples/WordCount.java到剛纔新建的項目WordCount下,刪除WordCount.java首行package

Linux下使用Eclipse開發Hadoop應用程序

 

 

5.在本地新建word.txt,內容爲:
java c++ python cjava c++ javascript helloworld hadoopmapreducejava hadoop hbase

 

6.通過hadoop的命令在HDFS上創建/tmp/workcount目錄,命令如下:
bin/hadoop fs -mkdir /tmp/wordcount
通過copyFromLocal命令把本地的word.txt複製到HDFS上,命令如下:
bin/hadoop fs -copyFromLocal/home/wangxing/Development/eclipseWorkspace/word.txt /tmp/wordcount/word.txt

 

7.運行項目
(1).在新建的項目Hadoop,點擊WordCount.java,右鍵-->RunAs-->Run Configurations
(2).在彈出的Run Configurations對話框中,點JavaApplication,右鍵-->New,這時會新建一個application名爲WordCount
(3).配置運行參數,點Arguments,在Programarguments中輸入你要傳給程序的輸入文件夾和你要求程序將計算結果保存的文件夾,如:
hdfs://localhost:9000/tmp/wordcount/word.txt  hdfs://localhost:9000/tmp/wordcount/out
(4)點擊Run,運行程序
過段時間將運行完成,等運行結束後,查看例子的輸出結果,使用命令:
bin/hadoop fs -ls /tmp/wordcount/out
發現有兩個文件夾和一個文件,使用命令查看part-r-00000裏的運行結果:
bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000
Linux下使用Eclipse開發Hadoop應用程序

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章