現有環境
docker中安裝了4個container
一個namenode(hadoop0)
三個datanode(hadoop1,hadoop2,hadoop3)
運行進程
eclipse中連接
安裝eclipse插件
https://github.com/winghc/hadoop2x-eclipse-plugin
- 下載對應插件,解壓之後將release下的所有jar包放入eclipse安裝下的plugins目錄,有的版本需要找到dropins中
- 重啓eclipse
- 打開Preferences搜索Hadoop Map/Reduce 指定map reduce的安裝目錄。(本地)
- windows->show view->Others->MapReduce Tools->Map/Reduce Locations
- New Hadoop Location配置相關屬性。
配置參數
eclipse中連接需要兩個參數:
dfs的端口(定義在core-site.xml中的defaultFs屬性中)
Map/Reduce的端口(定義在mapped-site.xml)
這兩個端口必須在docker容器中映射出來否則會連不上
也就是創建hadoop0的時候指定:
docker run -it --name hadoop0 -h hadoop0 -p 50070:50070 -p 9000:9000 -p 9001:9001 registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop /bin/bash
-p(小寫)意味着將遠程端口映射到本地指定端口將9001以及9000兩個端口映射出來,如何自己配置的端口不是9000的話按照自己的進行修改
配置結果
如果是在遠程服務器上將localhost改爲對應的ip