大數據處理之流式計算 storm安裝

  1. 安裝包準備

    官網下載最新穩定版本,題主下載的是apache-storm-0.9.5.tar.gz

  2. 角色分配

主機名IP角色
hadoop001192.168.0.1Nimbus
hadoop002192.168.0.2Supervisor
hadoop003192.168.0.2Supervisor
3. 安裝步驟

   3.1 安裝Strom集羣首先要搭建ZooKeeper集羣,由於Zookeeper搭建相對簡單,不再介紹,我們這裏zookeeper爲hadoop001:2181,hadoop002:2181,hadoop003:2181

   3.2 解壓安裝包到指定目錄下,這裏爲/opt下。

   3.3 添加環境變量到/home/you-user-name/.bashrc

    export STORM_HOME=/opt/storm

    export PATH=$STORM_HOME/bin:$PATH

    export CLASSPATH=$STROM_HOME/lib:$CLASSPATH

   3.4 修改Storm配置文件

配置項 配置說明

storm.zookeeper.servers     ZooKeeper服務器列表

storm.zookeeper.port     ZooKeeper連接端口

storm.local.dir         storm使用的本地文件系統目錄(必須存在並且storm進程可讀寫)

storm.cluster.mode     Storm集羣運行模式([distributed|local])

storm.local.mode.zmq     Local模式下是否使用ZeroMQ作消息系統,如果設置爲false則使用java消息系統。默認爲false

storm.zookeeper.root     ZooKeeper中Storm的根目錄位置

storm.zookeeper.session.timeout 客戶端連接ZooKeeper超時時間

storm.id         運行中拓撲的id,由storm name和一個唯一隨機數組成。

nimbus.host         nimbus服務器地址

nimbus.thrift.port     nimbus的thrift監聽端口

nimbus.childopts     通過storm-deploy項目部署時指定給nimbus進程的jvm選項

nimbus.task.timeout.secs 心跳超時時間,超時後nimbus會認爲task死掉並重分配給另一個地址。

nimbus.monitor.freq.secs nimbus檢查心跳和重分配任務的時間間隔.注意如果是機器宕掉nimbus會立即接管並處理。

nimbus.supervisor.timeout.secs     supervisor的心跳超時時間,一旦超過nimbus會認爲該supervisor已死並停止爲它分發新任務.

nimbus.task.launch.secs task    啓動時的一個特殊超時設置.在啓動後第一次心跳前會使用該值來臨時替代nimbus.task.timeout.secs.

nimbus.reassign         當發現task失敗時nimbus是否重新分配執行。默認爲真,不建議修改。

nimbus.file.copy.expiration.secs nimbus判斷上傳/下載鏈接的超時時間,當空閒時間超過該設定時nimbus會認爲鏈接死掉並主動斷開

ui.port Storm UI的服務端口

drpc.servers DRPC服務器列表,以便DRPCSpout知道和誰通訊

drpc.port Storm DRPC的服務端口

supervisor.slots.ports supervisor上能夠運行workers的端口列表.每個worker佔用一個端口,且每個端口只運行一個worker.通過這項配置可以調整每臺機器上運行的worker數.(調整slot數/每機)

supervisor.childopts 在storm-deploy項目中使用,用來配置supervisor守護進程的jvm選項

supervisor.worker.timeout.secs supervisor中的worker心跳超時時間,一旦超時supervisor會嘗試重啓worker進程.

supervisor.worker.start.timeout.secs supervisor初始啓動時,worker的心跳超時時間,當超過該時間supervisor會嘗試重啓worker。因爲JVM初始啓動和配置會帶來的額外消耗,從而使得第一次心跳會超過supervisor.worker.timeout.secs的設定

supervisor.enable supervisor是否應當運行分配給他的workers.默認爲true,該選項用來進行Storm的單元測試,一般不應修改.

supervisor.heartbeat.frequency.secs supervisor心跳發送頻率(多久發送一次)

supervisor.monitor.frequency.secs supervisor檢查worker心跳的頻率

worker.childopts supervisor啓動worker時使用的jvm選項.所有的”%ID%”字串會被替換爲對應worker的標識符

worker.heartbeat.frequency.secs worker的心跳發送時間間隔

task.heartbeat.frequency.secs task彙報狀態心跳時間間隔

task.refresh.poll.secs task與其他tasks之間鏈接同步的頻率.(如果task被重分配,其他tasks向它發送消息需要刷新連接).一般來講,重分配發生時其他tasks會理解得到通知。該配置僅僅爲了防止未通知的情況。

topology.debug 如果設置成true,Storm將記錄發射的每條信息。

topology.optimize master是否在合適時機通過在單個線程內運行多個task以達到優化topologies的目的.

topology.workers 執行該topology集羣中應當啓動的進程數量.每個進程內部將以線程方式執行一定數目的tasks.topology的組件結合該參數和並行度提示來優化性能

topology.ackers topology中啓動的acker任務數.Acker保存由spout發送的tuples的記錄,並探測tuple何時被完全處理.當Acker探測到tuple被處理完畢時會向spout發送確認信息.通常應當根據topology的吞吐量來確定acker的數目,但一般不需要太多.當設置爲0時,相當於禁用了消息可靠性,storm會在spout發送tuples後立即進行確認.

topology.message.timeout.secs topology中spout發送消息的最大處理超時時間.如果一條消息在該時間窗口內未被成功ack,Storm會告知spout這條消息失敗。而部分spout實現了失敗消息重播功能。

topology.kryo.register 註冊到Kryo(Storm底層的序列化框架)的序列化方案列表.序列化方案可以是一個類名,或者是com.esotericsoftware.kryo.Serializer的實現.

topology.skip.missing.kryo.registrations Storm是否應該跳過它不能識別的kryo序列化方案.如果設置爲否task可能會裝載失敗或者在運行時拋出錯誤.

topology.max.task.parallelism 在一個topology中能夠允許的最大組件並行度.該項配置主要用在本地模式中測試線程數限制.

topology.max.spout.pending 一個spout task中處於pending狀態的最大的tuples數量.該配置應用於單個task,而不是整個spouts或topology.

topology.state.synchronization.timeout.secs 組件同步狀態源的最大超時時間(保留選項,暫未使用)

topology.stats.sample.rate 用來產生task統計信息的tuples抽樣百分比

topology.fall.back.on.java.serialization topology中是否使用java的序列化方案

zmq.threads 每個worker進程內zeromq通訊用到的線程數

zmq.linger.millis 當連接關閉時,鏈接嘗試重新發送消息到目標主機的持續時長.這是一個不常用的高級選項,基本上可以忽略.

java.library.path JVM啓動(如Nimbus,Supervisor和workers)時的java.library.path設置.該選項告訴JVM在哪些路徑下定位本地庫.


4.啓動

    Strom中沒有在配置中對角色分配做體現,需要我們在啓動時指定:

    啓動Nimbus:"bin/storm nimbus >/dev/null 2>&1 &"

             啓動Supervisor:"bin/storm supervisor >/dev/null 2>&1 &"

             啓動UI:"bin/storm ui >/dev/null 2>&1 &"


    注意事項:UI必須和Nimbus處於同一主機,否則UI無法正常工作



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章