原文出自:http://www.cnblogs.com/yjmyzz/p/4604947.html
大型應用通常會按業務拆分成一個個業務子系統,這些大大小小的子應用,往往會使用一些公用的資源,比如:需要文件上傳、下載時,各子應用都會訪問公用的Ftp服務器。如果把Ftp Server的連接IP、端口號、用戶名、密碼等信息,配置在各子應用中,然後這些子應用再部署到服務器集羣中的N臺Server上,突然有一天,Ftp服務器要換IP或端口號,那麼問題來了?不要緊張,不是問 挖掘機哪家強:),而是如何快速的把這一堆已經在線上運行的子應用,通通換掉相應的配置,而且還不能停機。
要解決這個問題,首先要從思路上做些改變:
1、公用配置不應該分散存放到各應用中,而是應該抽出來,統一存儲到一個公用的位置(最容易想到的辦法,放在db中,或統一的分佈式cache server中,比如Redis,或其它類似的統一存儲,比如ZooKeeper中)
2、對這些公用配置的添加、修改,應該有一個統一的配置管理中心應用來處理(這個也好辦,做一個web應用來對這些配置做增、刪、改、查即可)
3、當公用配置變化時,子應用不需要重新部署(或重新啓動),就能使用新的配置參數(比較容易想到的辦法有二個:一是發佈/訂閱模式,子應用主動訂閱公用配置的變化情況,二是子應用每次需要取配置時,都實時去取最新配置)
由於配置信息通常不大,比較適合存放在ZooKeeper的Node中。主要處理邏輯的序列圖如下:
解釋一下:
考慮到所有存儲系統中,數據庫還是比較成熟可靠的,所以這些配置信息,最終在db中存儲一份。
剛開始時,配置管理中心從db中加載公用配置信息,然後同步寫入ZK中,然後各子應用從ZK中讀取配置,並監聽配置的變化(這在ZK中通過Watcher很容易實現)。
如果配置要修改,同樣也先在配置管理中心中修改,然後持久化到DB,接下來同步更新到ZK,由於各子應用會監聽數據變化,所以ZK中的配置變化,會實時傳遞到子應用中,子應用當然也無需重啓。
示例代碼:
這裏設計了幾個類,以模擬文中開頭的場景:
FtpConfig對應FTP Server的公用配置信息,
ConfigManager對應【統一配置中心應用】,裏面提供了幾個示例方法,包括:從db加載配置,修改db中的配置,將配置同步到ZK
ClientApp對應子系統,同樣也提供了幾個示例方法,包括獲取ZK的配置,文件上傳,文件下載,業務方法執行
ConfigTest是單元測試文件,用於集成測試剛纔這些類
爲了方便,還有一個ZKUtil的小工具類
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
package yjmyzz.test; import org.I0Itec.zkclient.ZkClient; public class ZKUtil
{ public static final String
FTP_CONFIG_NODE_NAME = "/config/ftp" ; public static ZkClient
getZkClient() { return new ZkClient( "localhost:2181,localhost:2182,localhost:2183" ); } } |
FtpConfig代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
|
package yjmyzz.test; import java.io.Serializable; /** *
Created by jimmy on 15/6/27. */ public class FtpConfig implements Serializable
{ /** *
端口號 */ private int port; /** *
ftp主機名或IP */ private String
host; /** *
連接用戶名 */ private String
user; /** *
連接密碼 */ private String
password; public FtpConfig()
{ } public FtpConfig( int port,
String host, String user, String password) { this .port
= port; this .host
= host; this .user
= user; this .password
= password; } public int getPort()
{ return port; } public void setPort( int port)
{ this .port
= port; } public String
getHost() { return host; } public void setHost(String
host) { this .host
= host; } public String
getUser() { return user; } public void setUser(String
user) { this .user
= user; } public String
getPassword() { return password; } public void setPassword(String
password) { this .password
= password; } public String
toString() { return user
+ "/" +
password + "@" +
host + ":" +
port; } } |
ConfigManager代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
|
package yjmyzz.test; import com.fasterxml.jackson.core.JsonProcessingException; import org.I0Itec.zkclient.ZkClient; public class ConfigManager
{ private FtpConfig
ftpConfig; /** *
模擬從db加載初始配置 */ public void loadConfigFromDB()
{ //query
config from database //TODO... ftpConfig
= new FtpConfig( 21 , "192.168.1.1" , "test" , "123456" ); } /** *
模擬更新DB中的配置 * *
@param port *
@param host *
@param user *
@param password */ public void updateFtpConfigToDB( int port,
String host, String user, String password) { if (ftpConfig
== null )
{ ftpConfig
= new FtpConfig(); } ftpConfig.setPort(port); ftpConfig.setHost(host); ftpConfig.setUser(user); ftpConfig.setPassword(password); //write
to db... //TODO... } /** *
將配置同步到ZK */ public void syncFtpConfigToZk() throws JsonProcessingException
{ ZkClient
zk = ZKUtil.getZkClient(); if (!zk.exists(ZKUtil.FTP_CONFIG_NODE_NAME))
{ zk.createPersistent(ZKUtil.FTP_CONFIG_NODE_NAME, true ); } zk.writeData(ZKUtil.FTP_CONFIG_NODE_NAME,
ftpConfig); zk.close(); } } |
ClientApp類如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
|
package yjmyzz.test; import org.I0Itec.zkclient.IZkDataListener; import org.I0Itec.zkclient.ZkClient; import java.util.concurrent.TimeUnit; public class ClientApp
{ FtpConfig
ftpConfig; private FtpConfig
getFtpConfig() { if (ftpConfig
== null )
{ //首次獲取時,連接zk取得配置,並監聽配置變化 ZkClient
zk = ZKUtil.getZkClient(); ftpConfig
= (FtpConfig) zk.readData(ZKUtil.FTP_CONFIG_NODE_NAME); System.out.println( "ftpConfig
=> " +
ftpConfig); zk.subscribeDataChanges(ZKUtil.FTP_CONFIG_NODE_NAME, new IZkDataListener()
{ @Override public void handleDataChange(String
s, Object o) throws Exception
{ System.out.println( "ftpConfig
is changed !" ); System.out.println( "node:" +
s); System.out.println( "o:" +
o.toString()); ftpConfig
= (FtpConfig) o; //重新加載FtpConfig } @Override public void handleDataDeleted(String
s) throws Exception
{ System.out.println( "ftpConfig
is deleted !" ); System.out.println( "node:" +
s); ftpConfig
= null ; } }); } return ftpConfig; } /** *
模擬程序運行 * *
@throws InterruptedException */ public void run() throws InterruptedException
{ getFtpConfig(); upload(); download(); } public void upload() throws InterruptedException
{ System.out.println( "正在上傳文件..." ); System.out.println(ftpConfig); TimeUnit.SECONDS.sleep( 10 ); System.out.println( "文件上傳完成..." ); } public void download() throws InterruptedException
{ System.out.println( "正在下載文件..." ); System.out.println(ftpConfig); TimeUnit.SECONDS.sleep( 10 ); System.out.println( "文件下載完成..." ); } } |
最終測試一把:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
package yjmyzz.test; import com.fasterxml.jackson.core.JsonProcessingException; import org.junit.Test; /** *
Created by jimmy on 15/6/27. */ public class ConfigTest
{ @Test public void testZkConfig() throws JsonProcessingException,
InterruptedException { ConfigManager
cfgManager = new ConfigManager(); ClientApp
clientApp = new ClientApp(); //模擬【配置管理中心】初始化時,從db加載配置初始參數 cfgManager.loadConfigFromDB(); //然後將配置同步到ZK cfgManager.syncFtpConfigToZk(); //模擬客戶端程序運行 clientApp.run(); //模擬配置修改 cfgManager.updateFtpConfigToDB( 23 , "10.6.12.34" , "newUser" , "newPwd" ); cfgManager.syncFtpConfigToZk(); //模擬客戶端自動感知配置變化 clientApp.run(); } } |
輸出如下:
ftpConfig => test/[email protected]:21
正在上傳文件...
test/[email protected]:21
文件上傳完成...
正在下載文件...
test/[email protected]:21
文件下載完成...
...
正在上傳文件...
test/[email protected]:21
ftpConfig is changed !
node:/config/ftp
o:newUser/[email protected]:23
文件上傳完成...
正在下載文件...
newUser/[email protected]:23
文件下載完成...
從測試結果看,子應用在不重啓的情況下,已經自動感知到了配置的變化,皆大歡喜。最後提一句:明白這個思路後,文中的ZK,其實換成Redis也可以,【統一配置中心】修改配置後,同步到Redis緩存中,然後子應用也不用搞什麼監聽這麼複雜,直接從redis中實時取配置就可以了。具體用ZK還是Redis,這個看個人喜好。