Mac os Eclipse中連接docker搭建的hadoop集羣

現有環境

docker中安裝了4個container
一個namenode(hadoop0)
三個datanode(hadoop1,hadoop2,hadoop3)
運行進程
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
hadoop3

eclipse中連接

安裝eclipse插件

https://github.com/winghc/hadoop2x-eclipse-plugin

  1. 下載對應插件,解壓之後將release下的所有jar包放入eclipse安裝下的plugins目錄,有的版本需要找到dropins中
  2. 重啓eclipse
  3. 打開Preferences搜索Hadoop Map/Reduce 指定map reduce的安裝目錄。(本地)
  4. windows->show view->Others->MapReduce Tools->Map/Reduce Locations
  5. New Hadoop Location配置相關屬性。

配置參數

eclipse中連接需要兩個參數:
dfs的端口(定義在core-site.xml中的defaultFs屬性中)
在這裏插入圖片描述
Map/Reduce的端口(定義在mapped-site.xml)
在這裏插入圖片描述
這兩個端口必須在docker容器中映射出來否則會連不上
也就是創建hadoop0的時候指定:
docker run -it --name hadoop0 -h hadoop0 -p 50070:50070 -p 9000:9000 -p 9001:9001 registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop /bin/bash
-p(小寫)意味着將遠程端口映射到本地指定端口將9001以及9000兩個端口映射出來,如何自己配置的端口不是9000的話按照自己的進行修改

配置結果

如果是在遠程服務器上將localhost改爲對應的ip
在這裏插入圖片描述

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章