（二十四）Storm的集羣搭建過程

前提：搭建Storm集羣前，確保系統中有Zookeeper

一、storm的下載安裝

storm的下載地址：http://storm.apache.org/downloads.html

這裏我下載的是1.2.2版本

然後將下載的storm解壓縮 和改名

tar -zxvf apache-storm-1.2.2.tar.gz -C /usr/local/

mv apache-storm-1.2.2/  storm

二、修改配置文件

vim storm-env.sh  配置JAVA_HOME

配置JAVA_HOME

 

vim storm.yaml  核心配置

在storm下創建data目錄

mkdir data

配置storm.yaml

將storm傳到其他節點

scp -r storm/ slave1:/usr/local/

配置環境變量

export STORM_HOME=/usr/local/storm
export PATH=$STORM_HOME/bin:$PATH

三、啓動

1、啓動nimbs

nohup sh storm nimbs &

 

2、啓動UI

nohup storm ui &

可以用http://192.168.60.1:8080打開UI窗口

 

3、主節點啓動supervisor

nohup storm supervisor &

 

4、從節點啓動supervisor(也需要配置環境變量)

nohup storm supervisor &

 

5、啓動日誌模式（主從都啓動）

nohup storm logviewer &

 

啓動所有的進程後，主節點有以下進程（其中有的進程是Hadoop的可以忽略）

 

從節點有以下進程

 

四、運行測試

1、修改本地測試代碼：

只需將本地的測試代碼改成上傳集羣的即可submitTopology

package com.bigdata;

import org.apache.storm.Config;
import org.apache.storm.StormSubmitter;
import org.apache.storm.generated.AlreadyAliveException;
import org.apache.storm.generated.AuthorizationException;
import org.apache.storm.generated.InvalidTopologyException;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;
import org.apache.storm.utils.Utils;

import java.util.Map;

/**
 * 使用Storm實現積累求和的操作
 */
public class ClusterSumStormTopology {


    /**
     * Spout需要繼承BaseRichSpout
     * 數據源需要產生數據併發射
     */
    public static class DataSourceSpout extends BaseRichSpout {

        private SpoutOutputCollector collector;
        /**
         * 初始化方法，只會被調用一次
         * @param conf  配置參數
         * @param context  上下文
         * @param collector 數據發射器
         */
        public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
            this.collector = collector;
        }

        int number = 0;

        /**
         * 會產生數據，在生產上肯定是從消息隊列中獲取數據
         *
         * 這個方法是一個死循環，會一直不停的執行
         */
        public void nextTuple() {
            this.collector.emit(new Values(++number));

            System.out.println("Spout: " + number);

            // 防止數據產生太快
            Utils.sleep(1000);

        }

        /**
         * 聲明輸出字段
         * @param declarer
         */
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("num"));
        }
    }


    /**
     * 數據的累積求和Bolt：接收數據並處理
     */
    public static class SumBolt extends BaseRichBolt {

        /**
         * 初始化方法，會被執行一次
         * @param stormConf
         * @param context
         * @param collector
         */
        public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {

        }

        int sum = 0;

        /**
         * 其實也是一個死循環，職責：獲取Spout發送過來的數據
         * @param input
         */
        public void execute(Tuple input) {

            // Bolt中獲取值可以根據index獲取，也可以根據上一個環節中定義的field的名稱獲取(建議使用該方式)
            Integer value = input.getIntegerByField("num");
            sum += value;

            System.out.println("Bolt: sum = [" + sum + "]");
        }

        public void declareOutputFields(OutputFieldsDeclarer declarer) {

        }
    }
    public static void main(String[] args) {

        // TopologyBuilder根據Spout和Bolt來構建出Topology
        // Storm中任何一個作業都是通過Topology的方式進行提交的
        // Topology中需要指定Spout和Bolt的執行順序
        TopologyBuilder builder = new TopologyBuilder();
        builder.setSpout("DataSourceSpout", new DataSourceSpout());
        builder.setBolt("SumBolt", new SumBolt()).shuffleGrouping("DataSourceSpout");

        //代碼提交到storm集羣上運行
        try {
            StormSubmitter.submitTopology("ClusterSumStormTopology",new Config(),builder.createTopology());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

2、將代碼打包上傳

J:\storm\target中有生成的storm-1.0.jar上傳到服務器中

3、在linux系統中執行命令

storm jar storm-1.0.jar com.bigdata.ClusterSumStormTopology