配置Hadoop2.xx的高可用（Hadoop2.0 HA）

配置Hadoop2.xx的高可用（Hadoop2.0 HA）

在Hadoop2.0以前，由於只有一個NameNode，存在單點故障的問題；在Hadoop2.0中的HA解決了該問題。hadoop2.0中HDFS的高可靠指的是可以同時啓動2個NameNode。其中一個處於工作狀態，另一個處於隨時待命狀態。這樣，當一個NameNode所在的服務器宕機時，可以在數據不丟失的情況下，手工或者自動切換到另一個NameNode提供服務。 

本文主要說明Hadoop的HA的配置。

前提

1、zookeeper集羣配置

zookeeper的配置相對簡單，當有點需要說明：集羣個數最好爲單數臺，不然無法選出leader，若你的集羣中有偶數臺服務器，那麼有一臺就不配置zookeeper即可。

2、配置Hadoop的HA

關於準備工作請參考我的博文：Hadoop2.7.2完全分佈式配置。

配置core-site.xml文件

<configuration> 

<!-- 指定hdfs的nameservices名稱爲mycluster，與hdfs-site.xml的HA配置相同 -->  

<property>  

<name>fs.defaultFS</name>  

<value>hdfs://mycluster</value>  

</property>  

 <!-- 指定緩存文件存儲的路徑 -->  

 <property>  

<name>hadoop.tmp.dir</name>  

<value>/home/hadoop/hadoop-2.7.2/data/tmp</value>  

</property>  

<!-- 配置hdfs文件被永久刪除前保留的時間（單位：分鐘），默認值爲0表明垃圾回收站功能關閉 -->  

<property>  

 <name>fs.trash.interval</name>  

 <value>1440</value>  

</property>  

<!-- 指定zookeeper地址，配置HA時需要 -->  

<property>  

 <name>ha.zookeeper.quorum</name>  

 <value>slave1:2181,slave2:2181, slave3:2181,master1:2181, master2:2181</value>  

</property>

</configuration> 

 配置hdfs-site.xml文件

<configuration>  

<!— 指定hdfs元數據存儲的路徑 -->  

<property>  

 <name>dfs.namenode.name.dir</name>  

 <value>/home/hadoop/hadoop-2.7.2/data/namenode</value>  

</property> 

<!-- 指定hdfs數據存儲的路徑 -->  

<property>  

<name>dfs.datanode.data.dir</name>  

<value>/home/hadoop/hadoop-2.7.2/data/datanode</value>  

</property>  

<!-- 數據備份的個數 -->  

<property>  

<name>dfs.replication</name>  

<value>3</value>  

</property>  

<!-- 關閉權限驗證 -->  

<property>  

<name>dfs.permissions.enabled</name>  

<value>false</value>  

</property>  

<!-- 開啓WebHDFS功能（基於REST的接口服務） -->  

<property>  

 <name>dfs.webhdfs.enabled</name>  

 <value>true</value>  

</property>  

<!-- 以下爲HDFS HA部分的配置 -->  

<!-- 指定hdfs的nameservices名稱爲mycluster -->  

<property>  

  <name>dfs.nameservices</name>  

  <value>mycluster</value>  

</property>  

<!-- 指定mycluster的兩個namenode的名稱分別爲nn1,nn2 -->  

<property>  

  <name>dfs.ha.namenodes.mycluster</name>  

  <value>nn1,nn2</value>  

</property>  

<!-- 配置nn1,nn2的rpc通信端口 -->  

<property>  

  <name>dfs.namenode.rpc-address.mycluster.nn1</name>  

  <value>master1:8020</value>  

</property>  

<property>  

  <name>dfs.namenode.rpc-address.mycluster.nn2</name>  

  <value>master2:8020</value>  

</property>  

<!-- 配置nn1,nn2的http通信端口 -->  

   <property>  

 <name>dfs.namenode.http-address.mycluster.nn1</name>  

 <value>master1:50070</value>  

</property>  

<property>  

 <name>dfs.namenode.http-address.mycluster.nn2</name>  

 <value>master2:50070</value>  

</property>  

<!-- 指定namenode元數據存儲在journalnode中的路徑 -->  

<property>  

 <name>dfs.namenode.shared.edits.dir</name>  

 <value>qjournal://slave1:8485;slave2:8485;slave3:8485/mycluster</value>  

</property>  

<!-- 指定journalnode日誌文件存儲的路徑 -->  

<property>  

 <name>dfs.journalnode.edits.dir</name>  

 <value> /home/hadoop/hadoop-2.7.2/data/journal</value>  

</property>  

<!-- 指定HDFS客戶端連接active namenode的java類 -->  

<property>  

 <name>dfs.client.failover.proxy.provider.mycluster</name>  

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  

</property>  

<!-- 配置隔離機制爲ssh -->  

<property>  

 <name>dfs.ha.fencing.methods</name>  

 <value>sshfence</value>  

</property>  

<!-- 指定祕鑰的位置 -->  

<property>  

 <name>dfs.ha.fencing.ssh.private-key-files</name>  

 <value>/home/hadoop/.ssh/id_rsa</value>  

</property>  

<!-- 開啓自動故障轉移 -->  

<property>  

 <name>dfs.ha.automatic-failover.enabled</name>  

 <value>true</value>  

</property>  

</configuration> 

配置mapred-site.xml文件

<configuration>  

<!-- 指定MapReduce計算框架使用YARN -->  

<property>  

<name>mapreduce.framework.name</name>  

<value>yarn</value>  

</property>  

<!-- 指定jobhistory server的rpc地址 -->  

<property>  

<name>mapreduce.jobhistory.address</name>  

<value>hadoop-master1:10020</value>  

</property>    

<!-- 指定jobhistory server的http地址 -->  

<property>  

<name>mapreduce.jobhistory.webapp.address</name>  

<value>hadoop-master1:19888</value>  

</property>  

<!-- 開啓uber模式（針對小作業的優化） -->  

<property>  

<name>mapreduce.job.ubertask.enable</name>  

<value>true</value>  

</property>  

<!-- 配置啓動uber模式的最大map數 -->  

<property>  

<name>mapreduce.job.ubertask.maxmaps</name>  

<value>9</value>  

</property>  

<!-- 配置啓動uber模式的最大reduce數 -->  

<property>  

<name>mapreduce.job.ubertask.maxreduces</name>  

<value>3</value>  

</property>  

</configuration>

配置yarn-site.xml文件

<configuration>  

<!-- NodeManager上運行的附屬服務，需配置成mapreduce_shuffle纔可運行MapReduce程序 -->  

<property>  

    <name>yarn.nodemanager.aux-services</name>  

    <value>mapreduce_shuffle</value>  

</property>     

<!-- 配置Web Application Proxy安全代理（防止yarn被攻擊） -->  

<property>  

    <name>yarn.web-proxy.address</name>  

    <value>hadoop-master2:8888</value>  

</property>  

<!-- 開啓日誌 -->  

<property>  

    <name>yarn.log-aggregation-enable</name>  

    <value>true</value>  

</property>  

<!-- 配置日誌刪除時間爲7天，-1爲禁用，單位爲秒 -->  

<property>  

    <name>yarn.log-aggregation.retain-seconds</name>  

    <value>604800</value>  

</property>  

<!-- 修改日誌目錄 -->  

<property>  

    <name>yarn.nodemanager.remote-app-log-dir</name>  

    <value>/logs</value>  

</property>  

<!-- 配置nodemanager可用的資源內存 -->  

<property>  

    <name>yarn.nodemanager.resource.memory-mb</name>  

    <value>2048</value>  

</property>  

<!-- 配置nodemanager可用的資源CPU -->  

<property>  

    <name>yarn.nodemanager.resource.cpu-vcores</name>  

    <value>2</value>  

</property>  

<!-- 以下爲YARN HA的配置 -->  

<!-- 開啓YARN HA -->  

<property>  

    <name>yarn.resourcemanager.ha.enabled</name>  

    <value>true</value>  

</property>  

<!-- 啓用自動故障轉移 -->  

<property>  

    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  

    <value>true</value>  

</property>  

<!-- 指定YARN HA的名稱 -->  

<property>  

    <name>yarn.resourcemanager.cluster-id</name>  

    <value>yarncluster</value>  

</property>  

<!-- 指定兩個resourcemanager的名稱 -->  

<property>  

    <name>yarn.resourcemanager.ha.rm-ids</name>  

    <value>rm1,rm2</value>  

</property>     

<!-- 配置rm1，rm2的主機 -->  

<property>  

    <name>yarn.resourcemanager.hostname.rm1</name>  

    <value>master1</value>  

</property>  

<property>  

    <name>yarn.resourcemanager.hostname.rm2</name>  

    <value>master2</value>  

</property>  

<!-- 配置YARN的http端口 -->  

<property>  

    <name>yarn.resourcemanager.webapp.address.rm1</name>  

    <value>master1:8088</value>  

</property>   

<property>  

    <name>yarn.resourcemanager.webapp.address.rm2</name>  

    <value>master2:8088</value>  

</property>  

<!-- 配置zookeeper的地址 -->  

<property>  

    <name>yarn.resourcemanager.zk-address</name>  

    <value>slave1:2181,slave2:2181,slave3:2181</value>  

</property>  

<!-- 配置zookeeper的存儲位置 -->  

<property>  

    <name>yarn.resourcemanager.zk-state-store.parent-path</name>  

    <value>/rmstore</value>  

</property>  

<!-- 開啓yarn resourcemanager restart -->  

<property>  

    <name>yarn.resourcemanager.recovery.enabled</name>  

    <value>true</value>  

</property>  

<!-- 配置resourcemanager的狀態存儲到zookeeper中 -->  

<property>  

<name>yarn.resourcemanager.store.class</name>      

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  

</property>  

<!-- 開啓yarn nodemanager restart -->  

<property>  

    <name>yarn.nodemanager.recovery.enabled</name>  

    <value>true</value>  

</property>  

<!-- 配置nodemanager IPC的通信端口 -->  

<property>  

    <name>yarn.nodemanager.address</name>  

    <value>0.0.0.0:45454</value>  

</property>  

</configuration>

配置slaves文件

$ vim slaves

slave1

slave2

slave3

修改hadoop-env.sh文件及yarn-env.sh

$ cd/home/hadoop/hadoop-2.7.2/etc/hadoop

$ vim hadoop-env.sh（yarn-env.sh）

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79