Hadoop-2.4.1 HA配置

hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA。

步驟1到5爲前期工作，在此並不贅述。
1.修改Linux主機名
2.修改IP
3.修改主機名和IP的映射關係

/etc/hosts裏面要配置的是內網IP地址和主機名的映射關係    

4.關閉防火牆
5.ssh免登陸
6.安裝JDK，配置環境變量等
安裝JDK

6.1上傳alt+p 後出現sftp窗口，然後put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

6.2解壓jdk
#創建文件夾
mkdir /home/hadoop/app
#解壓
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

6.3將java添加到環境變量中
vim /etc/profile
#在文件最後添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile

集羣規劃：
主機名 IP 安裝的軟件 運行的進程
itcast01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
itcast02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
itcast03 192.168.1.203 jdk、hadoop ResourceManager
itcast04 192.168.1.204 jdk、hadoop ResourceManager
itcast05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
itcast06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
itcast07 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

說明：

(1).在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。Active NameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。
hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裏我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元數據信息，一條數據只要成功寫入多數JournalNode即認爲寫入成功。通常配置奇數個JournalNode
這裏還配置了一個zookeeper集羣，用於ZKFC（DFSZKFailoverController）故障轉移，當Active NameNode掛掉了，會自動切換Standby NameNode爲standby狀態
(2).hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調

安裝步驟：
1. 準備文件

    1.1解壓
        tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/

    1.2修改配置
        cd /itcast/zookeeper-3.4.5/conf/
        cp zoo_sample.cfg zoo.cfg
        vim zoo.cfg
        修改：dataDir=/itcast/zookeeper-3.4.5/tmp
        在最後添加：
        server.1=itcast05:2888:3888
        server.2=itcast06:2888:3888
        server.3=itcast07:2888:3888
        保存退出
        然後創建一個tmp文件夾
        mkdir /itcast/zookeeper-3.4.5/tmp
        再創建一個空文件
        touch /itcast/zookeeper-3.4.5/tmp/myid
        最後向該文件寫入ID
        echo 1 > /itcast/zookeeper-3.4.5/tmp/myid

    1.3將配置好的zookeeper拷貝到其他節點(首先分別在itcast06、itcast07根目錄下創建一個itcast目錄：mkdir /itcast)
        scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/
        scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/

注意：修改itcast06、itcast07對應/itcast/zookeeper-3.4.5/tmp/myid內容
itcast06：
    echo 2 > /itcast/zookeeper-3.4.5/tmp/myid
itcast07：
    echo 3 > /itcast/zookeeper-3.4.5/tmp/myid

2.安裝配置hadoop集羣（在itcast01上操作）

2.1解壓
    tar -zxvf hadoop-2.4.1.tar.gz -C /itcast/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目錄下）
    #將hadoop添加到環境變量中
    vim /etc/profile
    export JAVA_HOME=/usr/java/jdk1.7.0_55
    export HADOOP_HOME=/itcast/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

    #hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
    cd /itcast/hadoop-2.4.1/etc/hadoop

    2.2.1修改hadood-env.sh
        export JAVA_HOME=/usr/java/jdk1.7.0_55

    2.2.2修改core-site.xml

    <configuration>
            <!-- 指定hdfs的nameservice爲ns1 -->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns1</value>
            </property>
            <!-- 指定hadoop臨時目錄 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/itcast/hadoop-2.4.1/tmp</value>
            </property>
            <!-- 指定zookeeper地址 -->
            <property>
                <name>ha.zookeeper.quorum</name>
                <value>itcast05:2181,itcast06:2181,itcast07:2181</value>
            </property>
    </configuration>

    2.2.3修改hdfs-site.xml

<configuration>
        <!--指定hdfs的nameservice爲ns1，需要和core-site.xml中的保持一致 -->
        <property>
            <name>dfs.nameservices</name>
            <value>ns1</value>
        </property>
        <!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
        <property>
            <name>dfs.ha.namenodes.ns1</name>
            <value>nn1,nn2</value>
        </property>
        <!-- nn1的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.ns1.nn1</name>
            <value>itcast01:9000</value>
        </property>
        <!-- nn1的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.ns1.nn1</name>
            <value>itcast01:50070</value>
        </property>
        <!-- nn2的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.ns1.nn2</name>
            <value>itcast02:9000</value>
        </property>
        <!-- nn2的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.ns1.nn2</name>
            <value>itcast02:50070</value>
        </property>
        <!-- 指定NameNode的元數據在JournalNode上的存放位置 -->
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://itcast05:8485;itcast06:8485;itcast07:8485/ns1</value>
        </property>
        <!-- 指定JournalNode在本地磁盤存放數據的位置 -->
        <property>
            <name>dfs.journalnode.edits.dir</name>
            <value>/itcast/hadoop-2.4.1/journal</value>
        </property>
        <!-- 開啓NameNode失敗自動切換 -->
        <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
        <!-- 配置失敗自動切換實現方式 -->
        <property>
            <name>dfs.client.failover.proxy.provider.ns1</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
        <property>
            <name>dfs.ha.fencing.methods</name>
            <value>
                sshfence
                shell(/bin/true)<!-- 決定了一個namenode宕機另一個立即切換 -->
            </value>
        </property>
        <!-- 使用sshfence隔離機制時需要ssh免登陸 -->
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔離機制超時時間 -->
        <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
        </property>
    </configuration>

    2.2.4修改mapred-site.xml

    <configuration>
        <!-- 指定mr框架爲yarn方式 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    2.2.5修改yarn-site.xml

    <configuration>
            <!-- 開啓RM高可靠 -->
            <property>
               <name>yarn.resourcemanager.ha.enabled</name>
               <value>true</value>
            </property>
            <!-- 指定RM的cluster id -->
            <property>
               <name>yarn.resourcemanager.cluster-id</name>
               <value>yrc</value>
            </property>
            <!-- 指定RM的名字 -->
            <property>
               <name>yarn.resourcemanager.ha.rm-ids</name>
               <value>rm1,rm2</value>
            </property>
            <!-- 分別指定RM的地址 -->
            <property>
               <name>yarn.resourcemanager.hostname.rm1</name>
               <value>itcast03</value>
            </property>
            <property>
               <name>yarn.resourcemanager.hostname.rm2</name>
               <value>itcast04</value>
            </property>
            <!-- 指定zk集羣地址 -->
            <property>
               <name>yarn.resourcemanager.zk-address</name>
               <value>itcast05:2181,itcast06:2181,itcast07:2181</value>
            </property>
            <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
            </property>
    </configuration>

 2.2.6修改slaves

(slaves是指定子節點的位置，因爲要在itcast01上啓動HDFS、在itcast03啓動yarn，所以itcast01上的slaves文件指定的是datanode的位置，itcast03上的slaves文件指定的是nodemanager的位置)
itcast05
itcast06
itcast07

 2.2.7配置免密碼登陸

#首先要配置itcast01到itcast02、itcast03、itcast04、itcast05、itcast06、itcast07的免密碼登陸
#在itcast01上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其他節點，包括自己
ssh-coyp-id -i itcast01
ssh-coyp-id -i itcast02
ssh-coyp-id -i itcast03
ssh-coyp-id -i itcast04
ssh-coyp-id -i itcast05
ssh-coyp-id -i itcast06
ssh-coyp-id -i itcast07
#配置itcast03到itcast04、itcast05、itcast06、itcast07的免密碼登陸
#在itcast03上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其他節點
ssh-coyp-id -i itcast04
ssh-coyp-id -i itcast05
ssh-coyp-id -i itcast06
ssh-coyp-id -i itcast07
#注意：兩個namenode之間要配置ssh免密碼登陸，別忘了配置itcast02到itcast01的免登陸
在itcast02上生產一對鑰匙
ssh-keygen -t rsa
ssh-coyp-id -i itcast01

2.4將配置好的hadoop拷貝到其他節點

scp -r /itcast/ itcast02:/
scp -r /itcast/ itcast03:/
scp -r /itcast/hadoop-2.4.1/ root@itcast04:/itcast/
scp -r /itcast/hadoop-2.4.1/ root@itcast05:/itcast/
scp -r /itcast/hadoop-2.4.1/ root@itcast06:/itcast/
scp -r /itcast/hadoop-2.4.1/ root@itcast07:/itcast/

注意：嚴格按照下面的步驟
2.5啓動zookeeper集羣（分別在itcast05、itcast06、tcast07上啓動zk）

cd /itcast/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看狀態：一個leader，兩個follower
./zkServer.sh status

2.6啓動journalnode（分別在在itcast05、itcast06、tcast07上執行）

cd /itcast/hadoop-2.4.1
sbin/hadoop-daemon.sh start journalnode
#運行jps命令檢驗，itcast05、itcast06、itcast07上多了JournalNode進程

2.7格式化HDFS

#在itcast01上執行命令:
hdfs namenode -format
#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個文件，這裏我配置的是/itcast/hadoop-2.4.1/tmp，然後將/itcast/hadoop-2.4.1/tmp拷貝到itcast02的/itcast/hadoop-2.4.1/下。
scp -r tmp/ itcast02:/itcast/hadoop-2.4.1/

2.8格式化ZK(在itcast01上執行即可)

hdfs zkfc -formatZK

2.9啓動HDFS(在itcast01上執行)

sbin/start-dfs.sh

2.10啓動YARN：

是在itcast03上執行start-yarn.sh，把namenode和resourcemanager分開是因爲性能問題，因爲他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啓動)
sbin/start-yarn.sh

到此，hadoop-2.4.1配置完畢，可以統計瀏覽器訪問:
http://192.168.1.201:50070
NameNode ‘itcast01:9000’ (active)
http://192.168.1.202:50070
NameNode ‘itcast02:9000’ (standby)

驗證HDFS HA

首先向hdfs上傳一個文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
(2)然後再kill掉active的NameNode
kill -9
通過瀏覽器訪問：http://192.168.1.202:50070
NameNode ‘itcast02:9000’ (active)
這個時候itcast02上的NameNode變成了active
在執行命令：
hadoop fs -ls /
-rw-r–r– 3 root supergroup 1926 2014-02-06 15:36 /profile
剛纔上傳的文件依然存在！！！
手動啓動那個掛掉的NameNode
sbin/hadoop-daemon.sh start namenode
通過瀏覽器訪問：http://192.168.1.201:50070
NameNode ‘itcast01:9000’ (standby)

驗證YARN：

運行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

到這裏爲止如果沒有出現錯誤說明你的Hadoop HA配置完成。

特別說明：本博客是學習完傳智博客的大數據視頻後根據上課筆記整理得到，在此要特別感謝傳智博客。

若轉載請首先與作者進行聯繫，得到許可後方可轉載。

本文鏈接：http://blog.csdn.net/a469142780/article/details/71332327