Zookeeper應用 - 集中配置管理系統的實現

出處:http://www.open-open.com/lib/view/open1403402321312.html


大型網站架構交流QQ羣:466097527 每週技術分享 經典電子書分享 歡迎加羣


一個帶配置的服務程序,部署在若干臺機器上,如果配置發生了變化,接下去要進行的操作是停止所有機器上的該程序,修改每一臺機器上該程序對應的配置文件。 這個情景會有兩個問題:第一,機器多了,逐個修改配置是一件不合理的運維;第二,配置一般是程序啓動時讀入的,所以配置修改後,程序應該重啓。 配置管理在某些場合稱“數據發佈與訂閱”,顧名思義就是將數據發佈到zk節點上,供訂閱者動態獲取數據,實現配置信息的集中式管理和動態更新。例如全局的配置信息,地址列表等就非常適合使用。

場景描述

參考http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html,實現自己的集中配置管理系統。

術語:配置管理(Configuration Management

一個帶配置的服務程序,部署在若干臺機器上,如果配置發生了變化,接下去要進行的操作是停止所有機器上的該程序,修改每一臺機器上該程序對應的配置文件。

這個情景會有兩個問題:第一,機器多了,逐個修改配置是一件不合理的運維;第二,配置一般是程序啓動時讀入的,所以配置修改後,程序應該重啓。

配置管理在某些場合稱“數據發佈與訂閱”,顧名思義就是將數據發佈到zk節點上,供訂閱者動態獲取數據,實現配置信息的集中式管理和動態更新。例如全局的配置信息,地址列表等就非常適合使用。

實際應用環境:

1. 索引信息和集羣中機器節點狀態存放在zk的一些指定節點,供各個客戶端訂閱使用。 2. 系統日誌(經過處理後的)存儲,這些日誌通常2-3天后被清除。 

3. 應用中用到的一些配置信息集中管理,在應用啓動的時候主動來獲取一次,並且在節點上註冊一個Watcher,以後每次配置有更新,實時通知到應用,獲取最新配置信息。

4. 業務邏輯中需要用到的一些全局變量,比如一些消息中間件的消息隊列通常有個offset,這個offset存放在zk上,這樣集羣中每個發送者都能知道當前的發送進度。

5. 系統中有些信息需要動態獲取,並且還會存在人工手動去修改這個信息。以前通常是暴露出接口,例如JMX接口,有了zk後,只要將這些信息存放到zk節點上即可。

需求概括

a)解決服務程序統一配置的問題;

b)解決服務配置更改的熱加載問題;(熱加載:程序更改配置,不需重啓就能快速響應)

技術原理

利用zookeeper的特性(略),將配置信息保存在 Zookeeper 的某個目錄節點中,然後將所有需要修改的應用機器監控配置信息的狀態,一旦配置信息發生變化,每臺應用機器就會收到 Zookeeper 的通知,然後從 Zookeeper 獲取新的配置信息應用到系統中。

a)znode的路徑作爲配置項能做到全局唯一;

b)znode的內容作爲配置項的值,始終存在與內存中,方便讀取;

c)znode的權限作爲項目之間的配置隔離機制,可以做到項目配置的安全管理;

zookeeper擁有的特性使得配置的存儲、讀取、監聽(watch)等都很好地實現,我們所需要做的事情——開發一個統一的控制終端以及提供程序讀取配置的接口。

a)集中的Web控制終端包含配置信息增加、刪除、修改、查詢、部署等等

b)Java讀取配置項的類和接口;

c)C++讀取配置的類和接口;

體系結構

Zookeeper應用——集中配置管理系統的實現

配置存儲結構

Zookeeper應用——集中配置管理系統的實現

層,存xml文件的字符串。

優勢

a)配置統一管理,方便運維;

b)服務程序熱加載;

c)配置分佈式存儲,穩定可靠;

實現

功能類ConfMng提供載入xml配置文件到zk系統的函數和讀取配置map的函數,並提供一個需要用戶實現的抽象函數

// 解析xml將keyvalue存入Map
 abstract public Map parserXML();

 

用戶程序使用方法如下:

繼承ConfMng類,實現parserXML();接口

讀取配置內容。

 

原則:設計的集中配置管理類,將讀取配置xml的方法開放給用戶,做到配置的通用;竟可能在原程序基礎上做到無縫結合。 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章