windows下Eclipse安裝hadoop1.1.2插件連接hadoop集羣

1、下載Eclipse解壓。
2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目錄下。

      我的hadoop集羣用的版本:hadoop1.1.2
       hadoop0.20以後的版本的安裝目錄下contrib/沒有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant編譯。
       源文件在:hadoop-x.y.z/src/contrib/eclipse-plugin 下,注意:需要下載源目錄的包,如查下載的是bin的壓縮包,裏面是沒有eclipse插件的源文件的。
      
3、打開Eclipse
      window-- Preferences  出現Hadoop Map/Reduce
      配置Hadoop installation directory:

windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR

注意:我的宿主機windows上並沒有安裝hadoop, hadoop安裝在VM中的centos中
           在windows下建了一個目錄F:/myHadoop 把centos hadoop安裝根目錄下的jar包拷過來。

4、新建工程:Map/Reduce Project

windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
配置hadoop location:
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 

 5、刷新DFS Locations 列出HDFS服務器上的上的目錄:
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
6、問題:
    在Eclipse上可以列出hadoop集羣上的目錄,但不能創建文件,上傳文件:


windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
原因:windows下Eclipse安裝了hadoop插件,默認使用的是windows當前用戶去操作hadoop,而我的hadoop集羣當前的用戶是grid

而Eclipse中hadoop locations 的高級參數配置,是不能修改這個用戶的:
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
解決方法:
在windows用戶和組的管理中,把當前用戶修改成hadoop組grid用戶。
但我的機器系統是win7家庭版,打不開用戶和組管理:

windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
不能已,用另一種方案:
windows上新建一個grid用戶,然後再打開Eclipse,創建工程,進行以上的配置DFS Loactioins
發現這時,在Eclipse中可以列出目錄,新建文件夾,上傳文件了。
 
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR
 
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - IT AIR

( 或者修改hadoop集羣上文件夾的權限,如:bin/hadoop fs -chmod 777 ./in, 下圖第2個文件是修改hadoop集羣文件平權限後上傳的)
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - ITAIR
 
windows下Eclipse安裝hadoop1.1.2插件 - ppy2790@126 - ITAIR
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章