Windows下寫Hadoop MapReduce程序

之前一直在Ubuntu下操作自己搭建的Hadoop僞分佈集羣,然後可以直接在Ubuntu環境下開發MR程序,這段時間有幸得到實驗室集羣的操作權限,但是要用SSH遠程管理集羣,在Ubuntu下不知道怎麼用代理進行SSH代理鏈接,所以只能在windows環境下用xshell進行通信。

直接上過程吧:

1、在eclipse直接新建java工程,然後對項目名右鍵-->Build Path-->Config Build Path。看到如下界面


2、Add External Jar.把hadoop包解壓縮,將lib文件架中的所有jar包都點選,還有hadoop-core-1.2.1.jar 也加入。


3、最後在Order and Export勾選所有jar,確定後就可以新建java文件了些代碼了。


最後導出jar包再put到集羣服務器就好了。


這樣搞完,以後就不用在Ubuntu寫MR程序然後拷到windows在用XFTP傳到集羣了。因爲在搭建了Hadoop環境的Ubuntu下加入Hadoop插件後建MR工程實在太方便了,可惜折騰了很久都沒弄明白怎樣用SSH代理連接集羣...哪位大大知道賜教一下唄。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章