环境配置：VMware10 + CentOS 6.5 + JDK1.7.0_67 + Hadoop 2.5.0
一、集群规划（以3台虚拟机为例）
二、准备系统环境
1、配置静态IP和DNS
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=static
IPADDR=192.168.89.89 （机器IP）
NETMASK=255.255.255.0
GATEWAY=192.168.89.2 （网关，前三位同IP，最后一位为2）
DNS1=192.168.89.2 （同网关）
# service network restart （重启网卡服务）
2、分别修改主机名
# vi /etc/sysconfig/network
HOSTNAME=bruce01.mydomain--第一台
HOSTNAME=bruce02.mydomain--第二台
HOSTNAME=bruce03.mydomain--第三台
3、修改主机名映射
# vi /etc/hosts
注意：每台主机的hosts文件里都写入三条，而不是一条
192.168.89.90bruce01.mydomain
192.168.89.91bruce02.mydomain
192.168.89.92bruce03.mydomain
4、关闭iptables和selinux（三台机器均关闭）
# service iptables status --查看防火墙状态，若开启则关闭
# service iptables stop--关闭防火墙服务
# chkconfig iptables off--让iptables开启不启动
# vi /etc/sysconfig/selinux
SELINUX=disabled
5、创建普通用户（三台机器均创建）
# useradd bruce
# passwd bruce
6、卸载多余的JDK（三台机器均卸载）
# rpm -qa | grep -i java
# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
三、配置NTP时间服务器
（Network Time Protocol，用来同步网络中各个计算机时间的协议；把bruce01这台服务器配置为时间服务器，然后集群内其他服务器都来同步这台服务器的时间；目的: 集群内所有节点的时间一致）
1、统一三台服务器时区
# date （查看当前时间）
# date -R （查看当前系统时区）
注意：如果时区不是东八区，则做如下操作
# rm -rf /etc/localtime
# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2、在bruce01上操作
⑴同步时间
# ntpdate cn.pool.ntp.org（同步当前服务器时间，网上可以搜索时间服务器）
⑵检查ntp软件包是否安装（可选）
# rpm -qa | grep ntp
ntp-4.2.4p8-3.el6.centos.x86_64
# yum -y install ntp（如果没有安装需要安装ntp）
⑶修改ntp配置文件
# vi /etc/ntp.conf
①去掉下面这行前面的# ,并把网段修改成自己的网段，即允许哪个网段来同步时间
restrict 192.168.89.0 mask 255.255.255.0 nomodify notrap
②注释掉以下几行，禁止它去同步互联网上其他NTP服务器
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
③ 把下面两行前面的#号去掉,如果没有这两行,需要手动添加
server 127.127.1.0 （本地系统时钟(BIOS)地址）
fudge 127.127.1.0 stratum 10
⑷启动ntp服务
# service ntpd start
# chkconfig ntpd on --开机启动
若需要重启，则# service ntpd restart
3、在bruce02、bruce03上操作
使bruce02、bruce03同步bruce01：
# service ntpd stop
# chkconfig ntpd off
# ntpdate bruce01.mydomain--去第一台服务器同步时间
25 Aug 15:16:47 ntpdate[2092]: adjust time server 192.168.17.129 offset 0.311666 sec
制定计划任务,周期性同步时间
# crontab -e
*/10 * * * * /usr/sbin/ntpdate bruce01.mydomain --每10分钟同步一次
[分 时 日 月 星期]
# service crond restart
四、配置无密钥登录
规划：bruce01、bruce02可以无密钥登录三台主机
bruce01-->bruce01
-->bruce02
-->bruce03
bruce02-->bruce01
-->bruce02
-->bruce03
1、在bruce01上生成一公私钥对
# su - bruce
$ ssh-keygen -t rsa （一直回车，rsa为指定的加密算法）
（执行后，在/home/bruce/.ssh/下生成一对文件：id_rsa、id_rsa.pub）
2、把公钥发给bruce01、bruce02、bruce03，会在.ssh/内生成authorized_keys文件
$ ssh-copy-id bruce01.mydomain （需要输入‘yes’和目标节点的密码）
$ ssh-copy-id bruce02.mydomain
$ ssh-copy-id bruce03.mydomain
（公钥发给了对方，就可以不用输入密码，直接使用私钥登录到对方的主机）
$ ssh [email protected] （登录测试）
3、在bruce02上做同样的操作
PS：1、若是不成功，则将这两个文件删除，再重新生成这两个文件即可；
2、若是没有ssh-keygen命令
$ which ssh-keygen （找到该命令对应文件：/usr/bin/ssh-keygen）
$ rpm -qf /usr/bin/ssh-keygen （查找该文件所在的安装包：openssh-5.3p1-84.1.e16.x86_64 ）
（安装此安装包即可）
五、安装配置JDK（不用此方法，分别单独安装JDK也可以）
2、拷贝jdk目录到另外两台服务器
$ scp -r /opt/modules/jdk1.7.0_67/ bruce02.mydomain:/opt/modules/ （远程拷贝命令）
$ scp -r/opt/modules/jdk1.7.0_67/ bruce03.mydomain:/opt/modules/
3、环境变量
# vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
#source /etc/profile 该命令使配置的环境变量立即生效
六、安装配置Hadoop
（在bruce01上配置好，拷贝到其他节点服务器即可）
（$ rm -rf hadoop安装目录/data/）
1、修改JAVA_HOME
$ cd /opt/modules/hadoop-2.5.0/etc/hadoop/
hadoop-env.sh yarn-env.sh mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2、修改core-site.xml文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://bruce01.mydomain:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data</value>
</property>
3、修改slaves文件 （声明哪些节点服务器是DataNode）
bruce01.mydomain
bruce02.mydomain
bruce03.mydomain
4、修改hdfs-site.xml文件
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bruce03.mydomain:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>blue01.mydomain:50070</value>
</property>
<!--关闭权限许可检查-->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
5、修改yarn-site.xml文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bruce02.mydomain</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
6、修改mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>bruce01.mydomain:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bruce01.mydomain:19888</value>
</property>
7、拷贝hadoop安装目录给其他节点
$ rm -rf share/doc/ #里面是帮助文档，1.6G，拷贝前可以删除掉
$ scp -r hadoop-2.5.0/ bruce02.mydomain:/opt/modules/
$ scp -r hadoop-2.5.0/ bruce03.mydomain:/opt/modules/
七、启动Hadoop
1、在bruce01上
$ bin/hdfs namenode -format --在data目录里创建出fsimage
$ sbin/start-dfs.sh --启动HDFS
2、在bruce02上
$ sbin/start-yarn.sh --启动YARN
PS：三种启动方式
1、第一种：分角色启动，比较麻烦
$ sbin/hadoop-daemon.sh start namenode
......
2、第二种：必须配置无密钥登录
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh
3、第三种：
$ sbin/start-all.sh
八、运行
http://bruce01:50070/
http://bruce02:8088/cluster/