linux下使用eclipse編程mapreduce

 

  1. 配置環境

生效:

  1. 啓動

3、使用Eclipse:

(1)新建項目:

File-New-JavaProject

填上Project name 選擇Next

 

導入包:

選擇Librarises-Add External JARS

(全部過程:)

到usr/local/hadoop/share/hadoop裏:

Common裏的nfs和common-2.7.1.jar

common裏的lib的全選

Hadoop 下的hdfs的最後三個

Mapreduce 第三個之後的全部

Mapreduce下的lib下的全部:

Hadoop下的yarn的第四個開始的全部:

導包全部完成。

 

 

  (詳細過程:)

 

到usr/local/hadoop/share/hadoop裏:

Common裏的nfs和common-2.7.1.jar

common裏的lib的全選

Hadoop 下的hdfs的最後三個

Mapreduce 第三個之後的全部

Mapreduce下的lib下的全部:

Mapreduce下的lib下的全部:

 

Hadoop下的yarn的第四個開始的全部:

導包全部完成。

點擊finish

(2)編寫java應用程序:

點擊剛剛創建好的工程Dedup,右鍵選擇New-Class

在Name裏輸入Java類的名稱,然後選擇finish:

 

出現以下界面,點擊創建的java即可編譯代碼:

 

填寫代碼:

以去重代碼爲例:

 

注意:

改爲自己的地址。

 

運行:run as javaproject

瀏覽器輸入localhost:9000(自己的端口號)

 

然後在 hadoop 目錄下查看/output/part-r-00000

(3)編譯打包程序:

在計算機/usr/local/hadoop新建了一個文件夾myapp放要建立的jar 包(jar包可以放在任意位置)

右鍵選擇剛建的項目:export-Java-Runnable  JAR file

在該界面中,選擇“Runnable JAR file”,然後點Next

彈出下面界面:

“Launch configuration”選擇自己的類

在“Export destination”中需要設置JAR包要輸出保存到哪個目錄

(4)運行jar包

jar包存放的位置下(myapp目錄下)輸入命令

Hadoop jar Dedup.jar input output (運行該命令前要把代碼中建的output文件夾刪了,因爲輸出文件夾output是自動產生的,所以打包之前運行過,所以已經產生了,

hadoop fs –rm –R /output

給一個輸入文件目錄/input 一個輸出文件目錄/output

查看結果:

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章