hadoop的开发环境与配置对于新手来很难,网上配置方法很多但是个人觉得一般都有点坑,所以本人总结了一下配置方法。
首先说明我所使用的系统是ubuntu16.04,jdk1.8.1.8.0_121,hadoop是2.6.0,eclipse是Eclipse SDK4.3.1.
- 安装SSH、配置SSH无密码登陆
这里直接使用你所使用的ubuntu当前用户就可以,个人觉得无需创建新用户,因为对新手来说配置权限什么的特别麻烦,只要当前用户能实现无密码登录就可以。
具体参考这个网站就可以: http://www.powerxing.com/install-hadoop/
- 安装java环境,配置环境变量
个人推荐自己在官网下载jdk,解压到自己指定的目录,然后配置环境变量,使用java -version 命令能看到java 的版本信息就可以。
- 安装hadoop2,具体参考http://www.powerxing.com/install-hadoop/
- 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
具体参考:http://www.powerxing.com/hadoop-build-project-using-eclipse/