centos的twitter storm安裝和storm-start的本地運行

 這裏介紹一下storm的基本安裝和不用lein的storm-starter運行方法。
一. Storm及相關軟件安裝
1. 安裝python2.7.2
============================
# wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
# tar zxvf Python-2.7.2.tgz
# cd Python-2.7.2
# ./configure
# make 
# make install
# vi /ect/ld.so.conf
--
文件末尾追加
/usr/local/lib
--

#sudo ldconfig
============================


2. 安裝zookeeper
============================
# wget http://ftp.meisei-u.ac.jp/mirror/apache/dist//zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz
# tar zxf zookeeper-3.3.3.tar.gz
# cp -R zookeeper-3.3.3 /usr/local/
# ln -s /usr/local/zookeeper-3.3.3/ /usr/local/zookeeper

設置 ZOOKEEPER_HOME 和$ZOOKEEPER_HOME/bin
#vi ~/.bashrc
--
追加
export ZOOKEEPER_HOME="/path/to/zookeeper"
export PATH=$PATH:$ZOOKEEPER_HOME/bin
--

用zoo_sample.cfg製作$ZOOKEEPER_HOME/conf/zoo.cfg
#cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
 
製作dataLogDir和運行Dir 
sudo mkdir /tmp/zookeeper
sudo mkdir /var/log/zookeeper
============================

3. 安裝zeromq & jzmq
============================
1)安裝zeromq
# wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz
# tar zxf zeromq-2.1.7.tar.gz
# cd zeromq-2.1.7
# ./configure
**********************
如果報錯
configure: error: in `/usr/local/download/zeromq-2.1.7':
 configure: error: no acceptable C compiler found in $PATH
 See `config.log' for more details
原因爲沒有安裝c compiler
解決方法
# yum install gcc*


如果遇到Error:cannot link with -luuid, install uuid-dev
原因爲缺少uuid相關package
解決方法
# yum install uuid*
# yum install e2fsprogs*
# yum install libuuid*
**********************
 
#make
#make install

更新LD_LIBRARY_PATH 
#ldconfig
============================

2)安裝jzmq
============================
#yum install git
#git clone git://github.com/nathanmarz/jzmq.git
**********************
如果有proxy的話執行
#git clone http://github.com/nathanmarz/jzmq.git
就能避開git的代理設置
**********************

# cd jzmq 
# ./autogen.sh
**********************
如果報錯
autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.

缺少libtool

# yum install libtool*

**********************

# ./configure
# make
# make install
============================


4. 安裝storm
============================
# wget https://github.com/downloads/nathanmarz/storm/storm-0.7.1.zip
# unzip storm- 0.7.1 zip
# cp -R storm-0.7.1 /usr/local/
# vi ~/.bashrc
--
追加
 export STORM_HOME=/usr/local/storm-0.7.1
 export PATH=$PATH:$STORM_HOME/bin
--
============================

到此爲止,storm安裝完畢。


二. 本地運行測試程序storm-start
按照https://github.com/nathanmarz/storm-starter,執行這個程序需要用lein,這裏介紹的方法用eclipse代替lein的作用。

1)  安裝twitter4j
# mkdir twitter4j
# cd twitter4j
# wget http://twitter4j.org/en/twitter4j-2.2.5.zip
# unzip twitter4j-2.2.5.zip


2) 追加源文件storm-start/src/jvm/storm
    使用eclipse建立java project。追加twitter4j和storm的jar文件。
    File-> New -> Java Project ->隨便取個名字-> Next -> Libraries -> add External JARs...-> 追加twitter4j和storm的jar文件(/path/to/twitter4j/lib/*.jar和/path/to/storm/lib/*.jar和/path/to/storm/storm-{version}.jar)-> Finsh

    導入storm-start
    File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/src/jvm/storm -> Browse(Info floder)  -> xxx -> src -> OK -> “storm” 和 “Create top-level folder”前打勾 -> Finish
完成之後如圖:
centos的twitter <wbr>storm安裝和storm-start的本地運行

3) 追加源文件storm-start/multilang/resources×(python 文件word count用)
    File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/multilang/resources -> Browse(Info floder)  -> xxx -> OK -> check “resources” and “Create top-level folder” -> Finish

2個源文件都追加好之後,eclipse左邊顯示如下圖:
centos的twitter <wbr>storm安裝和storm-start的本地運行

4) JAR export
    File -> Export -> JAR -> JAR file -> 取消 “.classpath” ,“.project” 和 “<.settings” ->的勾 browse -> path/to/export/name.jar -> Finish (忽視 warnings)
centos的twitter <wbr>storm安裝和storm-start的本地運行

4. 執行剛纔編譯的文件。
# storm jar StormStarter.jar storm.starter.ExclamationTopology

如果出現類似下面的文字,說明運行成功!
....
11367 [Thread-25] INFO  backtype.storm.daemon.task  - Emitting: class storm.starter.ExclamationTopology$ExclamationBolt source: 2:3, stream: 1, id: {}, [golda!!!]
....
發佈了144 篇原創文章 · 獲贊 7 · 訪問量 13萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章