- 配置環境
生效:
- 啓動
3、使用Eclipse:
(1)新建項目:
File-New-JavaProject
填上Project name 選擇Next
導入包:
選擇Librarises-Add External JARS
(全部過程:)
到usr/local/hadoop/share/hadoop裏:
Common裏的nfs和common-2.7.1.jar
common裏的lib的全選
Hadoop 下的hdfs的最後三個
Mapreduce 第三個之後的全部
Mapreduce下的lib下的全部:
Hadoop下的yarn的第四個開始的全部:
導包全部完成。
(詳細過程:)
到usr/local/hadoop/share/hadoop裏:
Common裏的nfs和common-2.7.1.jar
common裏的lib的全選
Hadoop 下的hdfs的最後三個
Mapreduce 第三個之後的全部
Mapreduce下的lib下的全部:
Mapreduce下的lib下的全部:
Hadoop下的yarn的第四個開始的全部:
導包全部完成。
點擊finish
(2)編寫java應用程序:
點擊剛剛創建好的工程Dedup,右鍵選擇New-Class
在Name裏輸入Java類的名稱,然後選擇finish:
出現以下界面,點擊創建的java即可編譯代碼:
填寫代碼:
以去重代碼爲例:
注意:
改爲自己的地址。
運行:run as javaproject
瀏覽器輸入localhost:9000(自己的端口號)
然後在 hadoop 目錄下查看/output/part-r-00000
(3)編譯打包程序:
在計算機/usr/local/hadoop新建了一個文件夾myapp放要建立的jar 包(jar包可以放在任意位置)
右鍵選擇剛建的項目:export-Java-Runnable JAR file
在該界面中,選擇“Runnable JAR file”,然後點Next
彈出下面界面:
“Launch configuration”選擇自己的類
在“Export destination”中需要設置JAR包要輸出保存到哪個目錄
(4)運行jar包
到jar包存放的位置下(myapp目錄下)輸入命令
Hadoop jar Dedup.jar input output (運行該命令前要把代碼中建的output文件夾刪了,因爲輸出文件夾output是自動產生的,所以打包之前運行過,所以已經產生了,
hadoop fs –rm –R /output)
給一個輸入文件目錄/input 一個輸出文件目錄/output
查看結果: