作者:
xumingming | 可以轉載, 但必須以超鏈接形式標明文章原始出處和作者信息及版權聲明
網址: http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/
網址: http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/
我們知道，storm集羣裏面工作機器分爲兩種一種是nimbus, 一種是supervisor, 他們通過zookeeper來進行交互，nimbus通過zookeeper來發布一些指令，supervisor去讀zookeeper來執行這些指令，具體nimbus和supervisor在zookeeper上交換了哪些信息可以看一下這篇文章:
Twitter Storm源代碼分析之ZooKeeper中的目錄結構。知道了他們在zookeeper存的信息之後，大家一定想知道nimbus和zookeeper在自己本機存了什麼信息呢？這篇文章給你介紹。代碼主要包括config.clj,
nimbus.clj,
supervisor.clj,
worker.clj。
注意：下面目錄結構裏面， nimbus機器上面只有/nimbus目錄，supervisor機器上面只有/supervisor目錄和/workers目錄。
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
|
/{storm-local-dir} | |-/nimbus | | | |-/inbox -- 從nimbus客戶端上傳的jar包 | | | 會在這個目錄裏面 | | | | | |-/stormjar-{uuid}.jar -- 上傳的jar包其中{uuid}表示 | | 生成的一個uuid | | | |-/stormdist | | | |-/{topology-id} | | | |-/stormjar.jar -- 包含這個topology所有代碼 | | 的jar包(從nimbus/inbox裏 | | 面挪過來的) | | | |-/stormcode.ser -- 這個topology對象的序列化 | | | |-/stormconf.ser -- 運行這個topology的配置 | |-/supervisor | | | |-/stormdist | | | | | |-/{topology-id} | | | | | |-/resources -- 這裏保存的是topology的 | | | jar包裏面的resources目錄 | | | 下面的所有文件 | | | | | |-/stormjar.jar -- 從nimbus機器上下載來的 | | | topology的jar包 | | | | | |-/stormcode.ser -- 從nimbus機器上下載來的 | | | 這個topology對象的序列 | | | 化形式 | | | | | |-/stormconf.ser -- 從nimbus機器上下載來的 | | 運行這個topology的配置 | | | |-/localstate -- supervisor的localstate | | | |-/tmp -- 臨時目錄，從Nimbus上下 | | 載的文件會先存在這個目 | | 錄裏面，然後做一些簡單 | | 處理再copy到 | | stormdist/{topology-id} | | 裏面去 | |-/{uuid} | | | |-/stormjar.jar -- 從Nimbus上面download下 | 來的工作jar包 | |-/workers | |-/{worker-id} | |-/pids -- 一個worker可能會起多個子 | | 進程所以可能會有多個pid | | | |-/{pid} -- 運行這個worker的JVM的pid | |-/heartbeats -- 這個supervisor機器上的 | worker的心跳信息 | |-/{worker-id} -- 這裏面存的是一個worker 的心跳：主要包括心跳時 間和worker的id |
