出處:http://www.open-open.com/lib/view/open1403402321312.html
大型網站架構交流QQ羣:466097527 每週技術分享 經典電子書分享 歡迎加羣
一個帶配置的服務程序,部署在若干臺機器上,如果配置發生了變化,接下去要進行的操作是停止所有機器上的該程序,修改每一臺機器上該程序對應的配置文件。 這個情景會有兩個問題:第一,機器多了,逐個修改配置是一件不合理的運維;第二,配置一般是程序啓動時讀入的,所以配置修改後,程序應該重啓。 配置管理在某些場合稱“數據發佈與訂閱”,顧名思義就是將數據發佈到zk節點上,供訂閱者動態獲取數據,實現配置信息的集中式管理和動態更新。例如全局的配置信息,地址列表等就非常適合使用。
1 場景描述
參考http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html,實現自己的集中配置管理系統。
術語:配置管理(Configuration Management)
一個帶配置的服務程序,部署在若干臺機器上,如果配置發生了變化,接下去要進行的操作是停止所有機器上的該程序,修改每一臺機器上該程序對應的配置文件。
這個情景會有兩個問題:第一,機器多了,逐個修改配置是一件不合理的運維;第二,配置一般是程序啓動時讀入的,所以配置修改後,程序應該重啓。
配置管理在某些場合稱“數據發佈與訂閱”,顧名思義就是將數據發佈到zk節點上,供訂閱者動態獲取數據,實現配置信息的集中式管理和動態更新。例如全局的配置信息,地址列表等就非常適合使用。
實際應用環境:
1. 索引信息和集羣中機器節點狀態存放在zk的一些指定節點,供各個客戶端訂閱使用。 2. 系統日誌(經過處理後的)存儲,這些日誌通常2-3天后被清除。
3. 應用中用到的一些配置信息集中管理,在應用啓動的時候主動來獲取一次,並且在節點上註冊一個Watcher,以後每次配置有更新,實時通知到應用,獲取最新配置信息。
4. 業務邏輯中需要用到的一些全局變量,比如一些消息中間件的消息隊列通常有個offset,這個offset存放在zk上,這樣集羣中每個發送者都能知道當前的發送進度。
5. 系統中有些信息需要動態獲取,並且還會存在人工手動去修改這個信息。以前通常是暴露出接口,例如JMX接口,有了zk後,只要將這些信息存放到zk節點上即可。
2 需求概括
a)解決服務程序統一配置的問題;
b)解決服務配置更改的熱加載問題;(熱加載:程序更改配置,不需重啓就能快速響應)
3 技術原理
利用zookeeper的特性(略),將配置信息保存在 Zookeeper 的某個目錄節點中,然後將所有需要修改的應用機器監控配置信息的狀態,一旦配置信息發生變化,每臺應用機器就會收到 Zookeeper 的通知,然後從 Zookeeper 獲取新的配置信息應用到系統中。
a)znode的路徑作爲配置項能做到全局唯一;
b)znode的內容作爲配置項的值,始終存在與內存中,方便讀取;
c)znode的權限作爲項目之間的配置隔離機制,可以做到項目配置的安全管理;
zookeeper擁有的特性使得配置的存儲、讀取、監聽(watch)等都很好地實現,我們所需要做的事情——開發一個統一的控制終端以及提供程序讀取配置的接口。
a)集中的Web控制終端:包含配置信息增加、刪除、修改、查詢、部署等等;
b)Java讀取配置項的類和接口;
c)C++讀取配置的類和接口;
4 體系結構
5 配置存儲結構
3 層,存xml文件的字符串。
5 優勢
a)配置統一管理,方便運維;
b)服務程序熱加載;
c)配置分佈式存儲,穩定可靠;
6 實現
功能類ConfMng提供載入xml配置文件到zk系統的函數和讀取配置map的函數,並提供一個需要用戶實現的抽象函數
// 解析xml將keyvalue存入Map
abstract public Map parserXML();
用戶程序使用方法如下:
繼承ConfMng類,實現parserXML();接口
讀取配置內容。
原則:設計的集中配置管理類,將讀取配置xml的方法開放給用戶,做到配置的通用;竟可能在原程序基礎上做到無縫結合。