如果你的開發環境不是hadoop集羣中的主機,則需要在之外的主機上搭建開發環境,並配置,使得編寫代碼與測試代碼方便進行。
步驟:
1. 新建hadoop用戶組以及hadoop用戶,可參照小編的其它博文
2. 安裝eclipse(App中直接安裝就好)
3. 將hadoop集羣中的/opt/hadoop文件夾中的內容拷貝在本機電腦中的對應位置
注:hadoop文件中是解壓縮並且配置好的hadoop文件,如有需要則對jdk等路徑修改,可參照小編的其它博文
4. 下載hadoop插件,並將hadoop2x-eclipse-plugin-master/release下的3個.jar文件複製於插件文件夾中:
usr/lib/eclipse/dropins/sdk/plugins (安裝eclipse的目錄下)
hadoop-eclipse-kepler-plugin-2.2.0.jar,hadoop-eclipse-kepler-plugin-2.4.1.jar,hadoop-eclipse-plugin-2.6.0.jar
需要則:sudo chmod -R 777 /usr/share/eclipse/dropins/sdk/plugins
5. 重啓eclipse,window->show view->map reduce locations
6. 配置map reduce locations,使得eclipse能夠連接到hadoop集羣
1) 在map reduce locations視圖中右擊,新建hadoop location
2) 填寫map/reduce server, DFS master信息:
這樣就可以了,有什麼bug的話,需要根據提示信息來修改。