[大數據基礎]zookeeper學習

概述

Zookeeper是一個開源的分佈式的，爲分佈式應用提供協調服務的Apache項目。
提供的服務包括：統一命名服務、統一配置管理、統一集羣管理、服務器節點動態上下線、軟負載均衡等。

安裝

下載地址:http://archive.apache.org/dist/zookeeper/

單機模式

1. 解壓到指定目錄

$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

2. 配置修改
   （1）將/opt/module/zookeeper-3.4.10/conf這個路徑下的zoo_sample.cfg修改爲zoo.cfg；

$ mv zoo_sample.cfg zoo.cfg

（2）打開zoo.cfg文件，修改dataDir路徑：

$ vim zoo.cfg

修改如下內容：

dataDir=/opt/module/zookeeper-3.4.10/zkData

（3）在/opt/module/zookeeper-3.4.10/這個目錄上創建zkData文件夾

$ mkdir zkData

3．操作Zookeeper

（1）啓動Zookeeper

$ bin/zkServer.sh start

（2）查看進程是否啓動

$ jps
4020 Jps
4001 QuorumPeerMain

（3）查看狀態：

$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone

（4）啓動客戶端：

$ bin/zkCli.sh

（5）退出客戶端：

[zk: localhost:2181(CONNECTED) 0] quit

（6）停止Zookeeper

$ bin/zkServer.sh stop

分佈式安裝

1．集羣規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2．解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下

$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）同步/opt/module/zookeeper-3.4.10目錄內容到hadoop103、hadoop104

$ xsync zookeeper-3.4.10/

3．配置服務器編號
（1）在/opt/module/zookeeper-3.4.10/這個目錄下創建zkData

$ mkdir -p zkData

（2）在/opt/module/zookeeper-3.4.10/zkData目錄下創建一個myid的文件

$ touch myid

添加myid文件，注意一定要在linux裏面創建，在notepad++裏面很可能亂碼
（3）編輯myid文件

$ vi myid

在文件中添加與server對應的編號：(編號不要求,只要唯一即可)

2

（4）拷貝配置好的zookeeper到其他機器上
並分別在hadoop102、hadoop103上修改myid文件中內容爲3、4
4．配置zoo.cfg文件
（1）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg爲zoo.cfg

$ mv zoo_sample.cfg zoo.cfg

（2）打開zoo.cfg文件

$ vim zoo.cfg

修改數據存儲路徑配置

dataDir=/opt/module/zookeeper-3.4.10/zkData

增加如下配置

#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

（3）同步zoo.cfg配置文件

（4）配置參數解讀

server.A=B:C:D。
A是一個數字，表示這個是第幾號服務器；
集羣模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件裏面有一個數據就是A的值，Zookeeper啓動時讀取此文件，拿到裏面的數據與zoo.cfg裏面的配置信息比較從而判斷到底是哪個server。
B是這個服務器的ip地址；
C是這個服務器與集羣中的Leader服務器交換信息的端口；
D是萬一集羣中的Leader服務器掛了，需要一個端口來重新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通信的端口。
其他配置:

Zookeeper中的配置文件zoo.cfg中參數含義解讀如下：
1．tickTime =2000：通信心跳數，Zookeeper服務器與客戶端心跳時間，單位毫秒
Zookeeper使用的基本時間，服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每個tickTime時間就會發送一個心跳，時間單位爲毫秒。
它用於心跳機制，並且設置最小的session超時時間爲兩倍心跳時間。(session的最小超時時間是2*tickTime)
2．initLimit =10：LF初始通信時限
集羣中的Follower跟隨者服務器與Leader領導者服務器之間初始連接時能容忍的最多心跳數（tickTime的數量），用它來限定集羣中的Zookeeper服務器連接到Leader的時限。
3．syncLimit =5：LF同步通信時限
集羣中Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime，Leader認爲Follwer死掉，從服務器列表中刪除Follwer。
4．dataDir：數據文件目錄+數據持久化路徑
主要用於保存Zookeeper中的數據。
5．clientPort =2181：客戶端連接端口
監聽客戶端連接的端口。

4．集羣操作
（1）分別啓動Zookeeper

$ bin/zkServer.sh start

（2）查看狀態
hodoop012

$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

hadoop103

$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader

hadoop104

$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

選舉機制（面試重點）
1）半數機制：集羣中半數以上機器存活，集羣可用。所以Zookeeper適合安裝奇數臺服務器。
2）Zookeeper雖然在配置文件中並沒有指定Master和Slave。但是，Zookeeper工作時，是有一個節點爲Leader，其他則爲Follower，Leader是通過內部的選舉機制臨時產生的。
3）以一個簡單的例子來說明整個選舉的過程。
假設有五臺服務器組成的Zookeeper集羣，它們的id從1-5，同時它們都是最新啓動的，也就是沒有歷史數據，在存放數據量這一點上，都是一樣的。假設這些服務器依序啓動，來看看會發生什麼，如圖所示。

（1）服務器1啓動，此時只有它一臺服務器啓動了，它發出去的報文沒有任何響應，所以它的選舉狀態一直是LOOKING狀態。
（2）服務器2啓動，它與最開始啓動的服務器1進行通信，互相交換自己的選舉結果，由於兩者都沒有歷史數據，所以id值較大的服務器2勝出，但是由於沒有達到超過半數以上的服務器都同意選舉它(這個例子中的半數以上是3)，所以服務器1、2還是繼續保持LOOKING狀態。
（3）服務器3啓動，根據前面的理論分析，服務器3成爲服務器1、2、3中的老大，而與上面不同的是，此時有三臺服務器選舉了它，所以它成爲了這次選舉的Leader。
（4）服務器4啓動，根據前面的分析，理論上服務器4應該是服務器1、2、3、4中最大的，但是由於前面已經有半數以上的服務器選舉了服務器3，所以它只能接收當小弟的命了。
（5）服務器5啓動，同4一樣當小弟。

4.2 客戶端命令行操作

命令基本語法	功能描述
help	顯示所有操作命令
ls path [watch]	使用 ls 命令來查看當前znode中所包含的內容
ls2 path [watch]	查看當前節點數據並能看到更新次數等數據
create	普通創建
-s	含有序列
-e	臨時（重啓或者超時消失）
get path [watch]	獲得節點的值
set	設置節點的具體值
stat	查看節點狀態
delete	刪除節點
rmr	遞歸刪除節點

1．啓動客戶端

$ bin/zkCli.sh

2．顯示所有操作命令

[zk: localhost:2181(CONNECTED) 1] help

3．查看當前znode中所包含的內容

[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]

4．查看當前節點詳細數據

[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

5．分別創建2個普通節點(創建同時必須寫數據,只 create /sanguo 不能創建)

[zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo

6．獲得節點的值

[zk: localhost:2181(CONNECTED) 5] get /sanguo
jinlian
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000003
mtime = Wed Aug 29 00:03:23 CST 2018
pZxid = 0x100000004
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 1
[zk: localhost:2181(CONNECTED) 6]
[zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
liubei
cZxid = 0x100000004
ctime = Wed Aug 29 00:04:35 CST 2018
mZxid = 0x100000004
mtime = Wed Aug 29 00:04:35 CST 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

7．創建短暫節點

[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo

（1）在當前客戶端是能查看到的

[zk: localhost:2181(CONNECTED) 3] ls /sanguo 
[wuguo, shuguo]

（2）退出當前客戶端然後再重啓客戶端

[zk: localhost:2181(CONNECTED) 12] quit
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh

（3）再次查看根目錄下短暫節點已經刪除

[zk: localhost:2181(CONNECTED) 0] ls /sanguo
[shuguo]

8．創建帶序號的節點
（1）先創建一個普通的根節點/sanguo/weiguo

[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo

（2）創建帶序號的節點

[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002

如果原來沒有序號節點，序號從0開始依次遞增。如果原節點下已有2個節點，則再排序時從2開始，以此類推。
9．修改節點數據值

[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

10．節點的值變化監聽
（1）在hadoop104主機上註冊監聽/sanguo節點數據變化

[zk: localhost:2181(CONNECTED) 26]  get /sanguo watch

（2）在hadoop103主機上修改/sanguo節點的數據

[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

（3）觀察hadoop104主機收到數據變化的監聽

WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

注意:監聽是單次的,也就是第一次改變提示,第二次沒有提示了.
11．節點的子節點變化監聽（路徑變化）
（1）在hadoop104主機上註冊監聽/sanguo節點的子節點變化

[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
[aa0000000001, server101]

（2）在hadoop103主機/sanguo節點上創建子節點

[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin

（3）觀察hadoop104主機收到子節點變化的監聽

WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

注意:監聽是單次的,也就是第一次改變提示,第二次沒有提示了.
12．刪除節點

[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

13．遞歸刪除節點

[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

14．查看節點狀態

[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1

Stat結構體
1）czxid-創建節點的事務zxid
每次修改ZooKeeper狀態都會收到一個zxid形式的時間戳，也就是ZooKeeper事務ID。
事務ID是ZooKeeper中所有修改總的次序。每個修改都有唯一的zxid，如果zxid1小於zxid2，那麼zxid1在zxid2之前發生。
2）ctime - znode被創建的毫秒數(從1970年開始)
3）mzxid - znode最後更新的事務zxid
4）mtime - znode最後修改的毫秒數(從1970年開始)
5）pZxid-znode最後更新的子節點zxid
6）cversion - znode子節點變化號，znode子節點修改次數
7）dataversion - znode數據變化號
8）aclVersion - znode訪問控制列表的變化號
9）ephemeralOwner- 如果是臨時節點，這個是znode擁有者的session id。如果不是臨時節點則是0。
10）dataLength- znode的數據長度
11）numChildren - znode子節點數量

監聽器

1. 監聽器原理
   1)首先要有一個main線程
   2)在main線程中創建Zookeeper客戶端,這是就會創建兩個線程,一個負責通信( connet ),一個負責監聽( listener ).
   3)通過connet線程將註冊的監聽事件添加到列表.
   4)在Zookeeper的註冊監聽器列表中將註冊的監聽事件添加到列表.
   5)Zookeeper監聽到有數據或路徑變化,就會將這個消息發送給listener線程.
   6)listener線程內部調用了process()方法.
2. 常見的監聽
   1)監聽數據變化
   get path [watch]
   2)監聽子節點增減變化
   ls path [watch]

寫數據流程