環境配置：VMware10 + CentOS 6.5 + JDK1.7.0_67 + Hadoop 2.5.0
一、集羣規劃（以3臺虛擬機爲例）
二、準備系統環境
1、配置靜態IP和DNS
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=static
IPADDR=192.168.89.89 （機器IP）
NETMASK=255.255.255.0
GATEWAY=192.168.89.2 （網關，前三位同IP，最後一位爲2）
DNS1=192.168.89.2 （同網關）
# service network restart （重啓網卡服務）
2、分別修改主機名
# vi /etc/sysconfig/network
HOSTNAME=bruce01.mydomain--第一臺
HOSTNAME=bruce02.mydomain--第二臺
HOSTNAME=bruce03.mydomain--第三臺
3、修改主機名映射
# vi /etc/hosts
注意：每臺主機的hosts文件裏都寫入三條，而不是一條
192.168.89.90bruce01.mydomain
192.168.89.91bruce02.mydomain
192.168.89.92bruce03.mydomain
4、關閉iptables和selinux（三臺機器均關閉）
# service iptables status --查看防火牆狀態，若開啓則關閉
# service iptables stop--關閉防火牆服務
# chkconfig iptables off--讓iptables開啓不啓動
# vi /etc/sysconfig/selinux
SELINUX=disabled
5、創建普通用戶（三臺機器均創建）
# useradd bruce
# passwd bruce
6、卸載多餘的JDK（三臺機器均卸載）
# rpm -qa | grep -i java
# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
三、配置NTP時間服務器
（Network Time Protocol，用來同步網絡中各個計算機時間的協議；把bruce01這臺服務器配置爲時間服務器，然後集羣內其他服務器都來同步這臺服務器的時間；目的: 集羣內所有節點的時間一致）
1、統一三臺服務器時區
# date （查看當前時間）
# date -R （查看當前系統時區）
注意：如果時區不是東八區，則做如下操作
# rm -rf /etc/localtime
# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2、在bruce01上操作
⑴同步時間
# ntpdate cn.pool.ntp.org（同步當前服務器時間，網上可以搜索時間服務器）
⑵檢查ntp軟件包是否安裝（可選）
# rpm -qa | grep ntp
ntp-4.2.4p8-3.el6.centos.x86_64
# yum -y install ntp（如果沒有安裝需要安裝ntp）
⑶修改ntp配置文件
# vi /etc/ntp.conf
①去掉下面這行前面的# ,並把網段修改成自己的網段，即允許哪個網段來同步時間
restrict 192.168.89.0 mask 255.255.255.0 nomodify notrap
②註釋掉以下幾行，禁止它去同步互聯網上其他NTP服務器
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
③ 把下面兩行前面的#號去掉,如果沒有這兩行,需要手動添加
server 127.127.1.0 （本地系統時鐘(BIOS)地址）
fudge 127.127.1.0 stratum 10
⑷啓動ntp服務
# service ntpd start
# chkconfig ntpd on --開機啓動
若需要重啓，則# service ntpd restart
3、在bruce02、bruce03上操作
使bruce02、bruce03同步bruce01：
# service ntpd stop
# chkconfig ntpd off
# ntpdate bruce01.mydomain--去第一臺服務器同步時間
25 Aug 15:16:47 ntpdate[2092]: adjust time server 192.168.17.129 offset 0.311666 sec
制定計劃任務,週期性同步時間
# crontab -e
*/10 * * * * /usr/sbin/ntpdate bruce01.mydomain --每10分鐘同步一次
[分 時 日 月 星期]
# service crond restart
四、配置無密鑰登錄
規劃：bruce01、bruce02可以無密鑰登錄三臺主機
bruce01-->bruce01
-->bruce02
-->bruce03
bruce02-->bruce01
-->bruce02
-->bruce03
1、在bruce01上生成一公私鑰對
# su - bruce
$ ssh-keygen -t rsa （一直回車，rsa爲指定的加密算法）
（執行後，在/home/bruce/.ssh/下生成一對文件：id_rsa、id_rsa.pub）
2、把公鑰發給bruce01、bruce02、bruce03，會在.ssh/內生成authorized_keys文件
$ ssh-copy-id bruce01.mydomain （需要輸入‘yes’和目標節點的密碼）
$ ssh-copy-id bruce02.mydomain
$ ssh-copy-id bruce03.mydomain
（公鑰發給了對方，就可以不用輸入密碼，直接使用私鑰登錄到對方的主機）
$ ssh [email protected] （登錄測試）
3、在bruce02上做同樣的操作
PS：1、若是不成功，則將這兩個文件刪除，再重新生成這兩個文件即可；
2、若是沒有ssh-keygen命令
$ which ssh-keygen （找到該命令對應文件：/usr/bin/ssh-keygen）
$ rpm -qf /usr/bin/ssh-keygen （查找該文件所在的安裝包：openssh-5.3p1-84.1.e16.x86_64 ）
（安裝此安裝包即可）
五、安裝配置JDK（不用此方法，分別單獨安裝JDK也可以）
2、拷貝jdk目錄到另外兩臺服務器
$ scp -r /opt/modules/jdk1.7.0_67/ bruce02.mydomain:/opt/modules/ （遠程拷貝命令）
$ scp -r/opt/modules/jdk1.7.0_67/ bruce03.mydomain:/opt/modules/
3、環境變量
# vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
#source /etc/profile 該命令使配置的環境變量立即生效
六、安裝配置Hadoop
（在bruce01上配置好，拷貝到其他節點服務器即可）
（$ rm -rf hadoop安裝目錄/data/）
1、修改JAVA_HOME
$ cd /opt/modules/hadoop-2.5.0/etc/hadoop/
hadoop-env.sh yarn-env.sh mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2、修改core-site.xml文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://bruce01.mydomain:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data</value>
</property>
3、修改slaves文件 （聲明哪些節點服務器是DataNode）
bruce01.mydomain
bruce02.mydomain
bruce03.mydomain
4、修改hdfs-site.xml文件
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bruce03.mydomain:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>blue01.mydomain:50070</value>
</property>
<!--關閉權限許可檢查-->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
5、修改yarn-site.xml文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bruce02.mydomain</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
6、修改mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>bruce01.mydomain:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bruce01.mydomain:19888</value>
</property>
7、拷貝hadoop安裝目錄給其他節點
$ rm -rf share/doc/ #裏面是幫助文檔，1.6G，拷貝前可以刪除掉
$ scp -r hadoop-2.5.0/ bruce02.mydomain:/opt/modules/
$ scp -r hadoop-2.5.0/ bruce03.mydomain:/opt/modules/
七、啓動Hadoop
1、在bruce01上
$ bin/hdfs namenode -format --在data目錄裏創建出fsimage
$ sbin/start-dfs.sh --啓動HDFS
2、在bruce02上
$ sbin/start-yarn.sh --啓動YARN
PS：三種啓動方式
1、第一種：分角色啓動，比較麻煩
$ sbin/hadoop-daemon.sh start namenode
......
2、第二種：必須配置無密鑰登錄
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh
3、第三種：
$ sbin/start-all.sh
八、運行
http://bruce01:50070/
http://bruce02:8088/cluster/