storm0.9.1 集羣環境安裝配置

 

Storm安裝配置

三臺機器  131,132,133

需要安裝 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq

安裝jdk和python不詳細說。

 

1  安裝 autoconf-2.64,

   1.1 下載 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 

      上傳到lunix上的工作目錄 比如  /home/bigdata/

     解壓  tar -xvf   autoconf-2.64.tar.bz2

     進入目錄  cd   autoconf-2.64

     執行   $ ./configure

            $ make

            $ make install

2  安裝zeromq

   2.1  下載 http://download.zeromq.org/zeromq-3.2.2.tar.gz

      上傳到 /home/bigdata/

       解壓  tar zxf zeromq-3.2.2.tar.gz 

      進入目錄  zeromq-3.2.2

      執行  $ ./configure

            $ make

            $ make install

 3  安裝jzmq 

   3.1 因爲這個是git項目，可以通過安裝git下載，我是在window上git下載的

     git clone git://github.com/nathanmarz/jzmq.git

     下載下來  有個  jzmq的文件夾

上傳前把 jzmq/autogen.sh 的文件格式由doc 改成 lunix

 上傳到   /home/bigdata/

賦權限   chmod -R 755 jzmq

Cd /home/bigdata/jzmq/

$   ./autogen.sh

$   ./configure

$ touch src/classdist_noinst.stamp

$ cd src/org/zeromq/

$ javac *.java

$ cd /home/bigdata/jzmq

$ make

$ make install

$echo /usr/local/lib > /etc/ld.so.conf.d/local.conf

$ldconfig          

$echo CLASSPATH=/usr/local/share/java/zmq.jar:. >> /etc/environment     

$echo export LD_LIBRARY_PATH=/usr/local/lib > /etc/profile.d/ldlibrarypath.sh

 

 

4  安裝zookeeper集羣

   網上搜索

5 安裝storm集羣

  5.1 下載 http://storm.incubator.apache.org/downloads.html

  下載 apache-storm-0.9.1-incubating

  上傳到  /home/bigdata/

 5.2 解壓  tar -xvf  apache-storm-0.9.1-incubating.tar.gz

    改名  mv apache-storm-0.9.1-incubating   storm

進入目錄 cd  /home/bigdata/storm/conf/

Vi   storm.yaml   我的配置是

########### These MUST be filled in for a storm configuration

 storm.zookeeper.servers:

     - "192.168.119.131"

     - "192.168.119.132"

     - "192.168.119.133"

# 

 nimbus.host: hadoop2

 storm.local.dir: /home/bigdata/storm/workdir 

 ui.port : 8088

 supervisor.slots.ports:  

    - 6700  

    - 6701  

    - 6702  

    - 6703 

  5.3 配置環境變量 (三臺機器分別配置) 

       vi  /etc/profile

       export  STORM_HOME=/home/bigdata/storm

       PATH= $STORM_HOME/bin

       source  /etc/profile

5.4 複製到遠程機

    scp -r  storm  [email protected]:/home/bigdata/

    scp -r  storm  [email protected]:/home/bigdata/

5.5 啓動storm

    先啓動zookeeper集羣  

  在主機 131執行     storm nimbus

  新開啓 srt  執行  jps

   6008 Jps

   4233 QuorumPeerMain

   5496 core

   5289 nimbus

 

 

 

 

  然後在132和 133機

   分別在 storm supervisor

5455 supervisor

   5912 Jps

   4244 QuorumPeerMain

 

在主機131  執行   storm ui

http://192.168.119.131:8088

 

 參考網絡一些文章：

http://blog.csdn.net/willfcareer/article/details/8610122

http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html

http://blog.csdn.net/comaple/article/details/7896167

http://my.oschina.net/BreathL/blog/84165