使用hadoop2.6.5版本配置Hadoop集群,配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群。
一、主机规划
hadoop001 192.168.159.129 | hadoop002 192.168.159.130 | hadoop003 192..168.159.131 | hadoop004 192..168.159.133 | hadoop005 192..168.159.132 | |
namenode | 是 | 是 | 否 | 否 | 否 |
datanode | 否 | 否 | 是 | 是 | 是 |
resourcemanager | 是 | 是 | 否 | 否 | 否 |
journalnode | 是 | 是 | 是 | 是 | 是 |
zookeeper | 是 | 是 | 是 | 是 | 是 |
二、集群主机用户、用户组、密码规划
主机 | 用户组 | 用户名 | 密码 |
hadoop001 | hadoop | hadoop | 123456 |
hadoop002 | hadoop | hadoop | 123456 |
hadoop003 | hadoop | hadoop | 123456 |
hadoop004 | hadoop | hadoop | 123456 |
hadoop005 | hadoop | hadoop | 123456 |
CentOS6.5 64位;JDK1.8.0_45;zookeeper3.4.10;Hadoop2.6.5。
四、目录规划
1、软件目录:/usr/hadoop/app/ ;
2、数据与日志目录:/usr/hadoop/data 。
五、环境检查及配置
1、修改主机名
vi /etc/sysconfig/network 修改network内容为:
按照此方法修改其它服务器(hadoop002,hadoop003,hadoop004,hadoop004)。
2、修改IP地址
cat /etc/udev/rules.d/70-persistent-net.rules 查看MAC地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP地址如下:
按照此方法修改其它服务器hadoop002,hadoop003,hadoop004,hadoop004的IP地址。
3、 修改hosts文件
vi /etc/hosts 修改hosts文件如下:
4、禁用防火墙
关闭命令: service iptables stop
永久关闭防火墙:chkconfig iptables off
两个命令同时运行,运行完成后 service iptables status 查看防火墙关闭状态