Twitter Storm源代碼分析之Nimbus/Supervisor本地目錄結構
作者: xumingming | 可以轉載, 但必須以超鏈接形式標明文章原始出處和作者信息及版權聲明
網址: http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/
網址: http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/
我們知道,storm集羣裏面工作機器分爲兩種一種是nimbus, 一種是supervisor, 他們通過zookeeper來進行交互,nimbus通過zookeeper來發布一些指令,supervisor去讀zookeeper來執行這些指令,具體nimbus和supervisor在zookeeper上交換了哪些信息可以看一下這篇文章: Twitter
Storm源代碼分析之ZooKeeper中的目錄結構。知道了他們在zookeeper存的信息之後,大家一定想知道nimbus和zookeeper在自己本機存了什麼信息呢?這篇文章給你介紹。代碼主要包括config.clj, nimbus.clj, supervisor.clj, worker.clj。
注意:下面目錄結構裏面, nimbus機器上面只有/nimbus目錄,supervisor機器上面只有/supervisor目錄和/workers目錄。
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
|
/{storm-local-dir} | |-/nimbus |
| |
|-/inbox -- 從nimbus客戶端上傳的jar包 |
| | 會在這個目錄裏面 |
| | |
| |-/stormjar-{uuid}.jar -- 上傳的jar包其中{uuid}表示 |
| 生成的一個uuid |
| |
|-/stormdist |
| |
|-/{topology-id} |
| |
|-/stormjar.jar -- 包含這個topology所有代碼 |
| 的jar包(從nimbus/inbox裏 |
| 面挪過來的) |
| |
|-/stormcode.ser -- 這個topology對象的序列化 |
| |
|-/stormconf.ser -- 運行這個topology的配置 | |-/supervisor |
| |
|-/stormdist |
| | |
| |-/{topology-id} |
| | |
| |-/resources -- 這裏保存的是topology的 |
| | jar包裏面的resources目錄 |
| | 下面的所有文件 |
| | |
| |-/stormjar.jar -- 從nimbus機器上下載來的 |
| | topology的jar包 |
| | |
| |-/stormcode.ser -- 從nimbus機器上下載來的 |
| | 這個topology對象的序列 |
| | 化形式 |
| | |
| |-/stormconf.ser -- 從nimbus機器上下載來的 |
| 運行這個topology的配置 |
| |
|-/localstate -- supervisor的localstate |
| |
|-/tmp -- 臨時目錄,從Nimbus上下 |
| 載的文件會先存在這個目 |
| 錄裏面,然後做一些簡單 |
| 處理再copy到 |
| stormdist/{topology-id} |
| 裏面去 |
|-/{uuid} |
| |
|-/stormjar.jar -- 從Nimbus上面download下 |
來的工作jar包 | |-/workers | |-/{worker-id} | |-/pids
-- 一個worker可能會起多個子 |
| 進程所以可能會有多個pid |
| |
|-/{pid} -- 運行這個worker的JVM的pid | |-/heartbeats
-- 這個supervisor機器上的 |
worker的心跳信息 | |-/{worker-id}
-- 這裏面存的是一個worker 的心跳:主要包括心跳時 間和worker的id |