一、ZooKeeper簡介
1. ZooKeeper是什麼
Apache ZooKeeper是一個開源的分佈式服務框架,爲分佈式應用提供協調服務,用來解決分佈式應用中的數據管理問題,如:配置管理、域名服務、分佈式同步、集羣管理等
官網 https://zookeeper.apache.org/
ZooKeeper視頻教程 http://edu.51cto.com/course/16190.html
2. ZooKeeper組成
主要包括兩部分:文件系統、通知機制
2.1 文件系統
ZooKeeper維護一個類似Linux文件系統的數據結構,用於存儲數據
- 數據模型結構是一種樹形結構,由許多節點構成
- 每個節點叫做ZNode(ZooKeeper Node)
- 每個節點對應一個唯一路徑,通過該路徑來標識節點,如 /app1/p_2
- 每個節點只能存儲大約1M的數據
節點類型有四種:
-
持久化目錄節點 persistent
客戶端與服務器斷開連接,該節點仍然存在
-
持久化順序編號目錄節點 persistent_sequential
客戶端與服務器斷開連接,該節點仍然存在,此時節點會被順序編號,如:000001、000002.....
-
臨時目錄節點 ephemeral
客戶端與服務器斷開連接,該節點會被刪除
-
臨時順序編號目錄節點 ephemeral_sequential
客戶端與服務器斷開連接,該節點會被刪除,此時節點會被順序編號,如:000001、000002.....
2.2 通知機制
ZooKeeper是一個基於觀察者模式設計的分佈式服務管理框架
- ZooKeeper負責管理和維護項目的公共數據,並授受觀察者的註冊(訂閱)
- 一旦這些數據發生變化,ZooKeeper就會通知已註冊的觀察者
- 此時觀察者就可以做出相應的反應
簡單來說,客戶端註冊監聽它關心的目錄節點,當目錄節點發生變化時,ZooKeeper會通知客戶端
ZooKeeper是一個訂閱中心(註冊中心)
3. 應用場景
3.1 配置管理
場景:集羣環境、服務器的許多配置都是相同的,如:數據庫連接信息,當需要修改這些配置時必須同時修改每臺服務器,很麻煩
解決:把這些配置全部放到ZooKeeper上,保存在ZooKeeper的某個目錄節點中,然後所有的應用程序(客戶端)對這個目錄節點進行監視Watch,一旦配置信息發生變化,ZooKeeper會通知每個客戶端,然後從ZooKeeper獲取新的配置信息,並應用到系統中。
3.2 集羣管理
場景:集羣環境下,如何知道有多少臺機器在工作?是否有機器退出或加入?需要選舉一個總管master,讓總管來管理集羣
解決:在父目錄GroupMembers下爲所有機器創建臨時目錄節點,然後監聽父目錄節點的子節點變化,一旦有機器掛掉,該機器與ZooKeeper的連接斷開,其所創建的臨時目錄節點被刪除,所有其他機器都會收到通知。當有新機器加入時也是同樣的道理。
選舉master:爲所有機器創建臨時順序編號目錄節點,給每臺機器編號,然後每次選取編號最小的機器作爲master
3.3 負載均衡
ZooKeeper本身是不提供負載均衡策略的,需要自己實現,所以準確的說,是在負載均衡中使用ZooKeeper來做集羣的協調(也稱爲軟負載均衡)
實現思路:
- 將ZooKeeper作爲服務的註冊中心,所有服務器在啓動時向註冊中心登陸自己能夠提供的服務
- 服務的調用者到註冊中心獲取能夠提供所需要服務的服務器列表,然後自己根據負載均衡算法,從中選取一臺服務器進行連接
- 當服務器列表發生變化時,如:某臺服務器宕機下線,或新機器加入,ZooKeeper會自動通知調用者重新獲取服務列表
實際上利用了ZooKeeper的特性,將ZooKeeper用爲服務的註冊和變更通知中心
二、ZooKeeper安裝
1. 安裝
ZooKeeper一般都運行在Linux平臺
步驟:
-
解壓zookeeper-3.4.13.tar.gz
cd ~/software tar -zxf zookeeper-3.4.13.tar.gz
-
配置
# 創建存放數據文件的目錄 cd zookeeper-3.4.13/ mkdir data # 創建配置文件 cd conf cp zoo_sample.cfg zoo.cfg # 默認使用的是zoo.cfg,名稱固定 # 修改配置文件 vi zoo.cfg dataDir=../data # 指定數據存放目錄
-
啓動zookeeper
cd bin ./zkServer.sh start | stop | status | restart # 啓動|停止|查看狀態|重啓
-
客戶端連接zookeeper
./zkCli.sh # 啓動客戶端,默認連接本機的2181端口 或 ./zkCli.sh -server 服務器地址:端口 # 連接指定主機、指定端口的zookeeper quit # 退出客戶端
2. 配置文件
配置項 | 含義 | 說明 |
---|---|---|
tickTime=2000 | 心跳時間 | 維持心跳的時間間隔,單位是毫秒<br>在zookeeper中所有的時間都是以這個時間爲基礎單元,進行整數倍配置 |
initLimit=10 | 初始通信時限 | 用於zookeeper集羣,此時有多臺zookeeper服務器,其中一個爲Leader,其他都爲Follower |
syncLimit=5 | 同步通信時限 | 在運行時Leader通過心跳檢測與Follower進行通信,如果超過syncLimit*tickTime時間還未收到響應,則認爲該Follower已經宕機 |
dataDir=../data | 存儲數據的目錄 | 數據文件也稱爲snapshot快照文件 |
clientPort=2181 | 端口號 | 默認爲2181 |
maxClientCnxns=60 | 單個客戶端的最大連接數限制 | 默認爲60,可以設置爲0,表示沒有限制 |
autopurge.snapRetainCount=3 | 保留文件的數量 | 默認3個 |
autopurge.purgeInterval=1 | 自動清理快照文件和事務日誌的頻率 | 默認爲0,表示不開啓自動清理,單位是小時 |
dataLogDir= | 存儲日誌的目錄 | 未指定時日誌文件也存放在dataDir中,爲了性能最大化,一般建議把dataDir和dataLogDir分別放到不同的磁盤上 |
三、客戶端操作
1. 常用命令
命令 | 作用 | 說明 |
---|---|---|
help | 查看幫助 | 查看所有操作命令 |
ls 節點路徑 | 查看指定節點下的內容 | |
ls2 節點路徑 | 查看指定節點的詳細信息 | 查看所有子節點和當前節點的狀態 |
create 節點路徑 內容 | 創建普通節點 | 如果內容中有空格,則需要使用對雙引號引起來 |
get 節點路徑 | 獲取節點中的值 | |
create -e 節點路徑 內容 | 創建臨時節點 | 當連接斷開後,節點會被自動刪除 |
create -s 節點路徑 內容 | 創建順序編號節點 | 即帶序號的節點 |
delete 節點路徑 | 刪除節點 | 只能刪除空節點,即不能有子節點 |
rmr 節點路徑 | 遞歸刪除節點 | remove recursion |
stat 節點路徑 | 查看節點狀態 | |
set 節點路徑 新值 | 修改節點內容 |
2. 詳解
查看指定節點的詳細信息: ls2 /
# 子節點名稱數組
[zookeeper]
# -----------節點的狀態信息,也稱爲stat結構體-------------------
# 創建該znode的事務的zxid(ZooKeeper Transaction ID)
# 事務ID是ZooKeeper爲每次更新操作/事務操作分配一個全局唯一的id,表示zxid,值越小,表示越先執行
cZxid = 0x0 # 0x0表示十六進制數0
# 創建時間
ctime = Thu Jan 01 08:00:00 CST 1970
# 最後一次更新的zxid
mZxid = 0x0
# 最後一次更新的時間
mtime = Thu Jan 01 08:00:00 CST 1970
# 最後更新的子節點的zxid
pZxid = 0x0
# 子節點的變化號,表示子節點被修改的次數,-1表示從未被修改過
cversion = -1
# 當前節點的變化號,0表示從未被修改過
dataVersion = 0
# 訪問控制列表的變化號 access control list
aclVersion = 0
# 如果臨時節點,表示當前節點的擁有者的sessionId
# 如果不是臨時節點,則值爲0
ephemeralOwner = 0x0
# 數據長度
dataLength = 0
# 子節點數據
numChildren = 1
順序編號節點:
- 順序編號會緊跟在節點名稱後面,節點最終名稱爲:節點名+序號,如/test0000000005
- 順序編號是一個遞增的計數器
- 順序編號是由父節點維護,從已有的子節點個數開始(包括臨時節點和被刪除的節點)
- 如果子節點爲空,則從0000000000開始,依次遞增1
- 在分佈式系統中,順序編號可以被用於爲所有的事件進行全局排序,這樣客戶端就可以根據序號推斷事件的順序
四、ZooKeeper集羣
1. 配置集羣
步驟:
-
準備多臺ZooKeeper服務器
-
配置ZooKeeper服務器
在每臺服務器的conf/zoo.cfg文件中添加如下內容:
server.20=192.168.4.20:2888:3888 server.21=192.168.4.21:2888:3888 server.22=192.168.4.22:2888:3888
格式:
server.A=B:C:D
- A表示這臺服務器的編號ID,是一個數字
- B表示服務器的IP地址或域名
- C表示這臺服務器與集羣中的Leader交換信息時使用的端口
- D表示執行選舉Leader服務器時互相通信的端口
-
創建myid配置文件
在集羣環境下,需要在
dataDir
目錄中創建一個名爲myid
的文件,文件內容是當前服務器的編號ID,即上面配置的Acd data echo A的值 > myid
ZooKeeper啓動時會讀取這個文件,將裏面的數字與zoo.cfg中配置的server.A進行比較,從而判斷這臺服務器是哪個
-
測試集羣環境
啓動所有ZooKeeper服務器,查看狀態
此時在某臺服務器上執行更新操作時,其他服務器也會同步
2. 集羣特性
- 一個ZooKeeper集羣中,有一個領導者Leader和多個跟隨者Follower
- Leader負責進行投票的發起和決議,更新系統狀態
- Follower用於接收客戶端的請求並向客戶端返回結果,在選舉Leader過程中參與投票
- 半數機制:集羣中只要有半數以上節點存活,集羣就能夠正常工作,所以一般集羣中的服務器個數都爲奇數
- 全局數據一致:集羣中每臺服務器保存一份相同的數據副本,不論客戶端連接到哪個服務器,數據都是一致的
- 更新請求順序執行:來自同一個客戶端的更新請求,按其發送順序依次執行
- 數據更新的原子性:一次數據更新,要麼成功,要麼失敗
- 實時性:在一定的時間範圍內,客戶端能讀取到最新數據
3. 選舉機制
ZooKeeper在提供服務時會自動選舉一個節點服務器作爲Leader,其他都是Follower
選舉流程:
- Server1啓動,給自己投票,然後發送投票信息,由於其它服務器都還沒啓動,所以它發現的消息收不到任何反饋,此時Server1爲Looking狀態
- Server2啓動,給自己投票,同時與Server1通信交換選舉結果,由於Server2的id值較大,所以Server2勝出,但由於投票數沒有過半,此時Server1和Server2都爲Looking狀態
- Server3啓動,給自己投票,同時與Server1和Server2通信交換選舉結果,由於Server3的id值較大,所以Server3勝出,此時票數已經過半,所以Server3爲Leader,Server1和Server2爲Follower
- Server4啓動,給自己投票,同時與Server1、Server2、Server3通信交換選舉結果,儘管Server4的id較大,但由於集羣中已經存在Leader,所以Server4只能爲Follower
- Server5啓動,同Server4類似,只能爲Follower
總結:
- 每個服務器在啓動時都會選擇自己,然後將投票信息發送出去
- 服務器編號ID越大,在選擇算法中的權重越大
- 投票數必須過半,才能選出Leader
- 誰是Leader:啓動順序的前
集羣數/2+1
個服務器中,id值最大的會成爲Leader
4. 監聽機制
4.1 監聽節點值的變化
# 在集羣的A服務器,監聽某個節點值的變化
get /yyy watch
# 在集羣的B服務器,修改對應節點的值
set /yyy myyyy
# 此時A服務器會收到事件NodeDataChanged
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/yyy
監聽Watch事件是一個一次性的觸發器,當數據改變時只會觸發一次,如果以後這個數據再發生改變,則不會再次觸發
4.2 監聽節點的子節點變化
# 在集羣的A服務器,監聽某個節點的子節點的變化
ls /yyy watch
# 在集羣的B服務器,創建/修改/刪除對應節點的子節點
create /yyy/hello hello
# 此時A服務器會收到事件NodeChildrenChanged
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/yyy
五、Java訪問ZooKeeper
Java操作Zookeeper很簡單,只需要添加ZooKeeper客戶端的依賴即可,可以進行節點信息的獲取、管理等。
步驟:
-
添加jar包
<!--ZooKeeper客戶端--> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.13</version> </dependency>
-
操作
public static void main(String[] args) throws IOException, KeeperException, InterruptedException { //獲取ZooKeeper的連接,即創建ZooKeeper的客戶端 String connectString = "127.0.0.1:2181"; //服務器地址 int sessionTimeout = 3000; //超時時間,單位爲毫秒 Watcher watcher = new MyWatcher(); ZooKeeper zkClient = new ZooKeeper(connectString, sessionTimeout, watcher); Thread.sleep(2000); System.out.println(zkClient.getState()); /** * 操作ZooKeeper */ //查看指定節點下的內容 List<String> children = zkClient.getChildren("/", true);//第二個參數表示是否監視該節點 System.out.println(children); //創建節點,OPEN_ACL_UNSAFE表示acl權限列表爲完全開放,PERSISTENT表示節點類型爲持久化節點 zkClient.create("/world", "世界".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); //獲取節點的數據(節點的值和節點狀態Stat) byte[] data = zkClient.getData("/world", true, null); System.out.println(new String(data)); Stat stat = new Stat(); byte[] data = zkClient.getData("/hello", true, stat); byte[] data = zkClient.getData("/hello", new DataWatcher(), stat); System.out.println(new String(data)); System.out.println(stat); System.out.println(stat.getCtime()); System.out.println(stat.getVersion()); System.out.println(stat.getDataLength()); //修改節點的數據 // zkClient.setData("/hello","aaa".getBytes(),stat.getVersion()); //第三個參數表示當前節點的數據版本,一般先獲取數據stat,然後指定數據版本 zkClient.setData("/hello", "bbb".getBytes(), -1); //也可以設置爲-1,表示不檢測版本 //刪除節點 zkClient.delete("/hello", -1); //判斷節點是否存在 System.out.println(zkClient.exists("/hello",false)); //存在時返回節點狀態,不存在則返回null //休眠 Thread.sleep(1000000); //關閉連接 zkClient.close(); }
ZooKeeper快速入門視頻,鏈接:http://edu.51cto.com/course/16190.html