Mac os Eclipse中连接docker搭建的hadoop集群

现有环境

docker中安装了4个container
一个namenode(hadoop0)
三个datanode(hadoop1,hadoop2,hadoop3)
运行进程
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
hadoop3

eclipse中连接

安装eclipse插件

https://github.com/winghc/hadoop2x-eclipse-plugin

  1. 下载对应插件,解压之后将release下的所有jar包放入eclipse安装下的plugins目录,有的版本需要找到dropins中
  2. 重启eclipse
  3. 打开Preferences搜索Hadoop Map/Reduce 指定map reduce的安装目录。(本地)
  4. windows->show view->Others->MapReduce Tools->Map/Reduce Locations
  5. New Hadoop Location配置相关属性。

配置参数

eclipse中连接需要两个参数:
dfs的端口(定义在core-site.xml中的defaultFs属性中)
在这里插入图片描述
Map/Reduce的端口(定义在mapped-site.xml)
在这里插入图片描述
这两个端口必须在docker容器中映射出来否则会连不上
也就是创建hadoop0的时候指定:
docker run -it --name hadoop0 -h hadoop0 -p 50070:50070 -p 9000:9000 -p 9001:9001 registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop /bin/bash
-p(小写)意味着将远程端口映射到本地指定端口将9001以及9000两个端口映射出来,如何自己配置的端口不是9000的话按照自己的进行修改

配置结果

如果是在远程服务器上将localhost改为对应的ip
在这里插入图片描述

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章