如果你的开发环境不是hadoop集群中的主机,则需要在之外的主机上搭建开发环境,并配置,使得编写代码与测试代码方便进行。
步骤:
1. 新建hadoop用户组以及hadoop用户,可参照小编的其它博文
2. 安装eclipse(App中直接安装就好)
3. 将hadoop集群中的/opt/hadoop文件夹中的内容拷贝在本机电脑中的对应位置
注:hadoop文件中是解压缩并且配置好的hadoop文件,如有需要则对jdk等路径修改,可参照小编的其它博文
4. 下载hadoop插件,并将hadoop2x-eclipse-plugin-master/release下的3个.jar文件复制于插件文件夹中:
usr/lib/eclipse/dropins/sdk/plugins (安装eclipse的目录下)
hadoop-eclipse-kepler-plugin-2.2.0.jar,hadoop-eclipse-kepler-plugin-2.4.1.jar,hadoop-eclipse-plugin-2.6.0.jar
需要则:sudo chmod -R 777 /usr/share/eclipse/dropins/sdk/plugins
5. 重启eclipse,window->show view->map reduce locations
6. 配置map reduce locations,使得eclipse能够连接到hadoop集群
1) 在map reduce locations视图中右击,新建hadoop location
2) 填写map/reduce server, DFS master信息:
这样就可以了,有什么bug的话,需要根据提示信息来修改。