Storm-0.9.0.1安裝部署 指導

http://www.aboutyun.com/thread-6854-1-1.html

可以帶着下面問題來閱讀本文章:

1.Storm只支持什麼傳輸
2.通過什麼配置,可以更改Zookeeper默認端口
3.Storm UI必須和Storm Nimbus部署在同一臺機器上,UI無法正常工作爲什麼


2.Storm-0.9.0.1大概經過幾個步驟

Twitter Storm更新0.9.0.1之後,安裝部署變得容易得多了,比起Storm0.8.x的版本,Storm少了zeromq和jzmq的安裝,也省去了很多編譯這些插件時出現的bug。
1、Storm-0.9.0.1 版本的亮點:
1.1、Netty Transport 
Storm 0.9.0.1版本的第一亮點是引入了netty transport。Storm網絡傳輸機制實現可插拔形式,當前包含兩種方式:原來的0mq傳輸,以及新的netty實現;在早期版本中(0.9.x之前的版本),Storm只支持0mq傳輸,由於0MQ是一個本地庫(native library),對平臺的依賴性較高,要完全正確安裝還是有一定挑戰性。而且版本之間的差異也比較大;Netty Transport提供了純JAVA的替代方案,消除了Storm的本地庫依賴,且比0MQ的網絡傳輸性能快一倍以上;
補充:之前寫這篇文檔的時候忘記把配置Netty Transport的方式寫進來,所以可能很多朋友配置了之後會發覺後臺會報一個錯誤;這裏還是用的原來的方式,所以下面補充下storm使用netty配置的方式;

 

要配置Storm使用Netty傳輸需要添加以下配置和調整值到你的storm.yaml文件上,響應的配置值可根據你的需求自行調整
  1. storm.messaging.transport: "backtype.storm.messaging.netty.Context" --指定傳輸協議
  2. storm.messaging.netty.server_worker_threads: 1   --指定netty服務器工作線程數量
  3. storm.messaging.netty.client_worker_threads: 1   --指定netty客戶端工作線程數量
  4. storm.messaging.netty.buffer_size: 5242880    --指定netty緩存大小
  5. storm.messaging.netty.max_retries: 100   --指定最大重試次數
  6. storm.messaging.netty.max_wait_ms: 1000  --指定最大等待時間(毫秒)
  7. storm.messaging.netty.min_wait_ms: 100   --指定最小等待時間(毫秒)
複製代碼
1.2、日誌修改
Storm 0.9.0.1版本提供了有助於調試和檢測拓撲結構的新特性:logviewer(守護進程名)
你現在可以在Storm UI通過點擊相應的Woker來查看對應的工作日誌。有點類似於hadoop的那種日誌查看機制。
1.3、安全
安全性、認證以及授權已經並將繼續成爲將來的重要特點重點領域。Storm 0.9.0.1版本引入了一個可插拔的序列化元組API以及實現一個基於blowfish加密方法對敏感數據進行加密的用例。
主要的改進就是以上三點。其他的就不提了!
2、Storm-0.9.0.1 安裝部署

這一章節將詳細描述如何搭建一個Storm集羣。下面是接下來需要依次完成的安裝步驟
1. 搭建Zookeeper集羣;
2. 依賴庫安裝
3. 下載並解壓Storm發佈版本;
4. 修改storm.yaml配置文件;
5. 啓動Storm各個後臺進程。

2.1 搭建Zookeeper集羣

Storm使用Zookeeper協調集羣,由於Zookeeper並不用於消息傳遞,所以Storm給Zookeeper帶來的壓力相當低。大多數情況下,單個節點的Zookeeper集羣足夠勝任,不過爲了確保故障恢復或者部署大規模Storm集羣,可能需要更大規模節點的Zookeeper集羣(對於Zookeeper集羣的話,官方推薦的最小節點數爲3個)。在Zookeeper集羣的每臺機器上完成以下安裝部署步驟:
1. 下載安裝Java JDK,官方下載鏈接爲http://java.sun.com/javase/downloads/index.jsp,JDK版本爲JDK 6或以上。
2. 根據Zookeeper集羣的負載情況,合理設置Java堆大小,儘可能避免發生swap,導致Zookeeper性能下降。保守起見,4GB內存的機器可以爲Zookeeper分配3GB最大堆空間。
3. 下載後解壓安裝Zookeeper包,官方下載鏈接爲http://hadoop.apache.org/zookeeper/releases.html
4. 根據Zookeeper集羣節點情況,在conf目錄下創建Zookeeper配置文件zoo.cfg:
  1. tickTime=2000
  2. dataDir=/var/zookeeper/
  3. clientPort=2181
  4. initLimit=5
  5. syncLimit=2
  6. server.1=zookeeper1:2888:3888
  7. server.2=zookeeper2:2888:3888
  8. server.3=zookeeper3:2888:3888
複製代碼
5. 在dataDir目錄下創建myid文件,文件中只包含一行,且內容爲該節點對應的server.id中的id編號。其中,dataDir指定Zookeeper的數據文件目錄;其中server.id=host:port:port,id是爲每個Zookeeper節點的編號,保存在dataDir目錄下的myid文件中,zookeeper1~zookeeper3表示各個Zookeeper節點的hostname,第一個port是用於連接leader的端口,第二個port是用於leader選舉的端口。
6. 啓動Zookeeper服務:
  1. bin/zkServer.sh start  
複製代碼
7. 通過Zookeeper客戶端測試服務是否可用:
  1. bin/zkCli.sh -server 127.0.0.1:2181  
複製代碼
2.2 依賴庫安裝

這裏的Storm依賴庫有python、以及JDK兩個,這兩個的安裝相對比較簡單, 所以在這裏就不提了!

2.3 下載並解壓Storm發佈版本

Storm0.9.0.1版本提供了兩種形式的壓縮包:zip和tar.gz
我們下載tar.gz格式的,這樣可以免去uzip的安裝
下載路徑:https://dl.dropboxusercontent.co ... torm-0.9.0.1.tar.gz
解壓命令
  1. tar -zxvf storm-0.9.0.1.tar.gz
複製代碼
2.4 下載並解壓Storm發佈版本

Storm發行版本解壓目錄下有一個conf/storm.yaml文件,用於配置Storm。默認配置在這裏可以查看。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的默認配置。以下配置選項是必須在conf/storm.yaml中進行配置的:
1) storm.zookeeper.servers:Storm集羣使用的Zookeeper集羣地址,其格式如下:
  1. storm.zookeeper.servers:
  2. - “111.222.333.444″
  3. - “555.666.777.888″
複製代碼
如果Zookeeper集羣使用的不是默認端口,那麼還需要storm.zookeeper.port選項。

2) storm.local.dir:Nimbus和Supervisor進程用於存儲少量狀態,如jars、confs等的本地磁盤目錄,需要提前創建該目錄並給以足夠的訪問權限。然後在storm.yaml中配置該目錄,如:
  1. storm.local.dir: "/home/admin/storm/workdir"
複製代碼
3) nimbus.host:Storm集羣Nimbus機器地址,各個Supervisor工作節點需要知道哪個機器是Nimbus,以便下載Topologies的jars、confs等文件,如:
  1. 01.nimbus.host: "111.222.333.444"  
複製代碼
4) supervisor.slots.ports: 對於每個Supervisor工作節點,需要配置該工作節點可以運行的worker數量。每個worker佔用一個單獨的端口用於接收消息,該配置選項即用於定義哪些端口是可被worker使用的。默認情況下,每個節點上可運行4個workers,分別在6700、6701、6702和6703端口,如:
  1. supervisor.slots.ports:
  2.     -6700
  3.     -6701
  4.     -6702
  5.     -6703
複製代碼
2.5 啓動Storm各個後臺進程

最後一步,啓動Storm的所有後臺進程。和Zookeeper一樣,Storm也是快速失敗(fail-fast)的系統,這樣Storm才能在任意時刻被停止,並且當進程重啓後被正確地恢復執行。這也是爲什麼Storm不在進程內保存狀態的原因,即使Nimbus或Supervisors被重啓,運行中的Topologies不會受到影響。
以下是啓動Storm各個後臺進程的方式:
Nimbus: 在Storm主控節點上運行”bin/storm nimbus >/dev/null 2>&1 &”啓動Nimbus後臺程序,並放到後臺執行;
Supervisor: 在Storm各個工作節點上運行”bin/storm supervisor>/dev/null 2>&1 &”啓動Supervisor後臺程序,並放到後臺執行;
UI: 在Storm主控節點上運行”bin/storm ui >/dev/null 2>&1 &”啓動UI後臺程序,並放到後臺執行,啓動後可以通過http://{nimbushost}:8080觀察集羣的worker資源使用情況、Topologies的運行狀態等信息。
logview:在Storm主節點上運行"bin/storm logviewer > /dev/null 2>&1"啓動logviewer後臺程序,並放到後臺執行。
注意事項:
啓動Storm後臺進程時,需要對conf/storm.yaml配置文件中設置的storm.local.dir目錄具有寫權限。
Storm後臺進程被啓動後,將在Storm安裝部署目錄下的logs/子目錄下生成各個進程的日誌文件。
經測試,Storm UI必須和Storm Nimbus部署在同一臺機器上,否則UI無法正常工作,因爲UI進程會檢查本機是否存在Nimbus鏈接。
爲了方便使用,可以將bin/storm加入到系統環境變量中。
至此,Storm集羣已經部署、配置完畢,可以向集羣提交拓撲運行了。

接下來我們檢查下環境的運行情況:--使用jps檢查守護進程運行狀況
  1. zqgame@kickseed:/data/storm/zookeeper-3.4.5/bin$ jps
  2. 20420 nimbus
  3. 20623 logviewer
  4. 20486 supervisor
  5. 20319 core
  6. 21755 Jps
複製代碼
查看運行頁面如下 
 





發佈了65 篇原創文章 · 獲贊 61 · 訪問量 118萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章