高可用架構篇：【1】ZooKeeper集羣的安裝、配置、高可用測試（多節點）

前言：Zookeeper集羣中只要有過半的節點是正常的情況下，那麼整個集羣對外就是可用的。正是基於這個特性，要將ZK集羣的節點數量要爲奇數（2n+1：如3、5、7個節點）較爲合適。

ZooKeeper環境分配

• 服務器1：192.168.0.222 端口：2181、2881、3881
• 服務器2：192.168.0.223 端口：2182、2882、3882
• 服務器3：192.168.0.224 端口：2183、2883、3883

1、 修改操作系統的/etc/hosts文件，添加IP與主機名映射：

# zookeeper cluster servers
192.168.0.222   edu-zk-01
192.168.0.223   edu-zk-02
192.168.0.224   edu-zk-03

2、 下載或上傳zookeeper-3.4.6.tar.gz到/home/wusc/zookeeper目錄：

$ cd /home/hk/zookeeper
$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

3、 解壓zookeeper安裝包，並按節點號對zookeeper目錄重命名：

$ tar -zxvf zookeeper-3.4.6.tar.gz
服務器1：
$ mv zookeeper-3.4.6 node-01
服務器2：
$ mv zookeeper-3.4.6 node-02
服務器3：
$ mv zookeeper-3.4.6 node-03

4、 在各zookeeper節點目錄下創建以下目錄：

$ cd /home/hk/zookeeper/node-0X  (X代表節點號1、2、3，以下同解)
$ mkdir data
$ mkdir logs

5、 將zookeeper/node-0X/conf目錄下的zoo_sample.cfg文件拷貝一份，命名爲zoo.cfg:

$ cp zoo_sample.cfg zoo.cfg

6、 修改zoo.cfg配置文件：

• zookeeper/node-01的配置（/home/hk/zookeeper/node-01/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hk/zookeeper/node-01/data
dataLogDir=/home/hk/zookeeper/node-01/logs
clientPort=2181
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

• zookeeper/node-02的配置（/home/hk/zookeeper/node-02/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hk/zookeeper/node-02/data
dataLogDir=/home/hk/zookeeper/node-02/logs
clientPort=2182
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

• zookeeper/node-03的配置（/home/hk/zookeeper/node-03/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hk/zookeeper/node-03/data
dataLogDir=/home/hk/zookeeper/node-03/logs
clientPort=2183
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

參數說明:

tickTime=2000
tickTime這個時間是作爲Zookeeper服務器之間或客戶端與服務器之間維持心跳的時間間隔,也就是每個tickTime時間就會發送一個心跳。

initLimit=10
initLimit這個配置項是用來配置Zookeeper接受客戶端（這裏所說的客戶端不是用戶連接Zookeeper服務器的客戶端,而是Zookeeper服務器集羣中連接到Leader的Follower 服務器）初始化連接時最長能忍受多少個心跳時間間隔數。當已經超過10個心跳的時間（也就是tickTime）長度後 Zookeeper 服務器還沒有收到客戶端的返回信息,那麼表明這個客戶端連接失敗。總的時間長度就是 10*2000=20 秒。

syncLimit=5
syncLimit這個配置項標識Leader與Follower之間發送消息,請求和應答時間長度,最長不能超過多少個tickTime的時間長度,總的時間長度就是5*2000=10秒。

dataDir=/home/hk/zookeeper/node-01/data
dataDir顧名思義就是Zookeeper保存數據的目錄,默認情況下Zookeeper將寫數據的日誌文件也保存在這個目錄裏。

clientPort=2181
clientPort這個端口就是客戶端（應用程序）連接Zookeeper服務器的端口,Zookeeper會監聽這個端口接受客戶端的訪問請求。
server.A=B：C：D
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883
A是一個數字,表示這個是第幾號服務器；
B是這個服務器的IP地址（或者是與IP地址做了映射的主機名）；
C第一個端口用來集羣成員的信息交換,表示這個服務器與集羣中的Leader服務器交換信息的端口；
D是在leader掛掉時專門用來進行選舉leader所用的端口。
注意：如果是僞集羣的配置方式，不同的 Zookeeper 實例通信端口號不能一樣，所以要給它們分配不同的端口號。

7、 在dataDir=/home/hk/zookeeper/node-0X/data下創建myid文件

• 編輯myid文件，並在對應的IP的機器上輸入對應的編號。如在node-01上，myid文件內容就是1,node-02上就是2，node-03上就是3：

$ vi /home/hk/zookeeper/node-01/data/myid  ## 值爲1
$ vi /home/hk/zookeeper/node-02/data/myid  ## 值爲2
$ vi /home/hk/zookeeper/node-03/data/myid  ## 值爲3

8、 在防火牆中打開要用到的端口218X、288X、388X

• 切換到root用戶權限，執行以下命令：
• 服務器01增加以下3行：

## zookeeper
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2881 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3881 -j ACCEPT

• 服務器02增加以下3行：

## zookeeper
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2182 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2882 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3882 -j ACCEPT

• 服務器03增加以下3行：

## zookeeper
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2183 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2883 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3883 -j ACCEPT

• 重啓防火牆：
• service iptables restart
• 查看防火牆端口狀態：
• service iptables status

9、 啓動並測試zookeeper（要用hk用戶啓動，不要用root）:

(1) 使用hk用戶到/home/hk/zookeeper/node-0X/bin目錄中執行：

$ /home/hk/zookeeper/node-01/bin/zkServer.sh start
$ /home/hk/zookeeper/node-02/bin/zkServer.sh start
$ /home/hk/zookeeper/node-03/bin/zkServer.sh start

(2) 輸入jps命令查看進程：

$ jps
1456 QuorumPeerMain

• 其中，QuorumPeerMain是zookeeper進程，說明啓動正常

(3) 查看狀態：

$ /home/hk/zookeeper/node-01/bin/zkServer.sh status

(4) 查看zookeeper服務輸出信息：

由於服務信息輸出文件在/home/hk/zookeeper/node-0X/bin/zookeeper.out
$ tail -500f zookeeper.out
## 注意日誌輸出再啓動目錄

10、 停止zookeeper進程：

$ zkServer.sh stop

11、 配置zookeeper開機使用hk用戶啓動：

• 編輯node-01、node-02、node-03中的/etc/rc.local文件，分別加入：

su - hk -c '/home/hk/zookeeper/node-01/bin/zkServer.sh start'
su - hk -c '/home/hk/zookeeper/node-02/bin/zkServer.sh start'
su - hk -c '/home/hk/zookeeper/node-03/bin/zkServer.sh start'