Zookeeper(4)---ZK集羣部署和選舉

一、集羣部署

1.準備三臺機器,安裝好ZK。強烈建議奇數臺機器,因爲zookeeper 通過判斷大多數節點的存活來判斷整個服務是否可用。3個節點,掛掉了2個表示整個集羣掛掉,而用偶數4個,掛掉了2個也表示其並不是大部分存活,因此也會掛掉,這樣反而覺得多浪費了一臺機器資源。

2.修改配置文件

  固定語法格式:server.節點ID=ip:數據同步端口:選舉端口

  節點ID:服務id手動指定1125之間的數字,並寫到對應服務節點的 {dataDir}/myid 文件中。

  IP地址:節點的遠程IP地址

  數據同步端口:主從同步數據複製端口。

  遠舉端口:主節點掛了,選舉新的主節點的通信端口。

  如:

    server.1=192.168.0.67:28888:38888

    server.2=192.168.0.68:28888:38888

    server.3=192.168.0.69:28888:38888

  三臺機器都是一樣的內容:

 

 3.配置文件中指定的dataDir目錄下面創建myid文件並寫入配置中的對應值

  我的dataDir目錄是/tmp/zookeeper

 

對應配置中的IP對應的節點ID寫入

192.168.0.67

 

 192.168.0.68

 

 192.168.0.69

 

 4.各自使用配置文件啓動服務

./zkServer.sh start ../conf/zoo.cfg

 

5.查看各自的節點的狀態

./zkServer.sh status

 

 

 

 

 我們可以看到有兩臺是follower 一臺是leader

 

6.連接集羣

連接任意一臺節點即可連接集羣,也可以每一臺都去連接,使用,分割

zkCli.sh 後加參數-server 表示連接指定IP與端口

./zkCli.sh -server 192.168.0.67:2181

連接集羣67節點 寫入數據,然後再連接68一樣可以看到寫入的數據,說明數據同步了

 

 

 如果我們停掉一臺機器,集羣仍然可用,如果停掉的是leader,那麼集羣會選舉新的leader,選舉的時候整個集羣是不可用的。如果停掉兩臺機器,集羣就會不可用了。

 

二、集羣角色

前面通過./zkServer.sh status 指令我們看到了集羣角色中的leaderfollower,還有一個observer

 

leader

主節點,又名領導者。用於寫入數據,通過選舉產生,如果宕機將會選舉新的主節點。

follower

子節點,又名追隨者。用於實現數據的讀取。同時他也是主節點的備選節點,並用擁有投票權。

observer

次級子節點,又名觀察者。用於讀取數據,與follower區別在於沒有投票權,不能選爲主節點。並且在計算集羣可用狀態時不會將observer計算入內。

 

observer配置:

只要在集羣配置中加上observer後綴即可,示例如下:

server.3=192.168.0.69:2889:3889:observer

 

三、集羣選舉

前面我們通過./zkServer.sh status 指令已經看到68機器的leader6769follower

爲什麼68leader呢?集羣選舉的時候,第一輪全部投給自己,後面每次都遞增投給比自己myid大的相鄰結點。如果票數過半選舉結束。

 

 

假如是四個節點還會進行第三輪選舉,第三輪第一個節點會投給第三個節點,所以如果是4個節點那麼leader就會是第三個節點。

集羣節點中出現選舉有兩種情況,一種是節點啓動,另一種是半數以上節點無法和leader建立連接。

當節點初始起動時會在集羣中尋找Leader節點,如果找到則與Leader建立連接,其自身狀態變化followerobserver。如果沒有找到Leader,當前節點狀態將變化LOOKING,進入選舉流程。

在集羣運行其間如果有followerobserver節點宕機只要不超過半數並不會影響整個集羣服務的正常運行。但如果leader宕機,將暫停對外服務,所有follower將進入LOOKING 狀態,進入選舉流程。

 

四、數據同步

zookeeper的數據同步是爲了保證各節點中數據的一致性。一個是正常客戶端數據提交,另一個是服務宕機恢復之後的數據同步。之前的操作我們也看見了在一臺機器上面寫入數據之後,在其他的機器上面也是有數據的。

數據寫入時,請求可能是發送給follower的,這個時候會將請求轉發給leader

1.clientzk中的server發送寫請求,如果該server不是leader,則會將該寫請求轉發給leader serverleader將請求事務以proposal形式分發給follower

2.follower收到收到leaderproposal時,根據接收的先後順序處理proposal

3.Leader收到follower針對某個proposal過半的ack後,則發起事務提交,重新發起一個commitproposal

4.Follower收到commitproposal後,記錄事務提交,並把數據更新到內存數據庫;當寫成功後,反饋給client

 在集羣運行過程當中如果有一個follower節點宕機,由於宕機節點沒過半,集羣仍然能正常服務。當leader 收到新的客戶端請求,此時無法同步給宕機的節點。造成數據不一至。爲了解決這個問題,當節點啓動時,第一件事情就是找當前的Leader,比對數據是否一至。不一至則開始同步,同步完成之後在進行對外提供服務。

那麼zk是怎麼來確認數據版本呢,是通過前面介紹過的Zxid,來進行對比的。能參與leader選舉的節點也是zxid最新的節點(最新zxid數據是完整的)

 

Zxid是一個長度64位的數字,其中低32位是按照數字遞增,任何數據的變更都會導致,32位的數字簡單加1。高32位是leader週期編號,每當選舉出一個新的leader時,新的leader就從本地事物日誌中取出ZXID,然後解析出高32位的週期編號,進行加1,再將低32位的全部設置爲0。這樣就保證了每次新選舉的leader後,保證了ZXID的唯一性而且是保證遞增的。

簡單來說就是選舉會讓zxid的高32的數據加1,每次數據變更會讓zxid的低32位數據加1,所以zxid最大的節點數據永遠是最完整的一個。

 

五、集羣運維指令

Zk提供了一些運維相關的指令,可以通過telnetnczk發出命令。這些命令都有4個字母組成又叫四字運維命令。

默認這些指令是關閉的,通過配置文件中配置4lw.commands.whitelist來開啓這些命令

部分開啓:4lw.commands.whitelist=stat, conf, isro,envi

全部開啓:4lw.commands.whitelist=*

 

可能需要安裝Netcat工具

yum install -y nc

查看服務器及客戶端連接狀態:

echo stat | nc localhost 2181

 

1.conf3.3.0中的新增功能:打印有關服務配置的詳細信息。

2.crst3.3.0中的新增功能:重置所有連接的連接/會話統計信息。

3.dump:列出未完成的會話和臨時節點。這僅適用於leader

4.envi:打印有關服務環境的詳細信息

6.ruok:測試服務器是否以非錯誤狀態運行。如果服務器正在運行,它將以imok響應。否則,它將完全不響應。響應“ imok”不一定表示服務器已加入仲裁,只是服務器進程處於活動狀態並綁定到指定的客戶端端口。使用“ stat”獲取有關狀態仲裁和客戶端連接信息的詳細信息。

7.srst:重置服務器統計信息。

8.srvr3.3.0中的新功能:列出服務器的完整詳細信息。

9.stat:列出服務器和連接的客戶端的簡要詳細信息。

10.wchs3.3.0中的新增功能:列出有關服務器監視的簡要信息。

11.wchc3.3.0中的新增功能:按會話列出有關服務器監視的詳細信息。這將輸出具有相關監視(路徑)的會話(連接)列表。請注意,根據watch的數量,此操作可能會很昂貴(即影響服務器性能),請小心使用。

12.dirs3.5.1中的新增功能:以字節爲單位顯示快照和日誌文件的總大小

13.wchp3.3.0中的新增功能:按路徑列出有關服務器監視的詳細信息。這將輸出具有關聯會話的路徑(znode)列表。請注意,根據手錶的數量,此操作可能會很昂貴(即影響服務器性能),請小心使用。

14.mntr3.4.0中的新增功能:輸出可用於監視集羣運行狀況的變量列表。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章