Storm學習1-環境安裝

學習storm安裝過程


1.首先安裝jdk配置jdk環境

rpm -ivh jdk1.7.0_71.rpm

配置環境變量

JAVA_HOME=/usr/java/jdk1.7.0_71

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

expot PATH JAVA_HOME CLASSPATH

2.安裝zeromq

wget http://download.zeromq.org/zeromq-4.0.5.tar.gz

tar -zxvf zeromq-4.0.5.tar.gz

cd zermq-4.0.5

./configure

make && make install

如果在安裝過程中發現錯誤確保已經安裝了一下相關依賴

gcc-c++ autoconf  automake libtool gcc gcc- make libuuid-dev uui-dev


下面是安裝jzmq

git clone https://github.com/zeromq/jzmq.git

cd jzmq

./autogen.sh

./configure

make && make install


檢查python是否安裝

which python

python -V


下面安裝storm

我們下載apache-storm-0.9.3.tar.gz

tar -zxvf apache-storm-0.9.3.tar.gz

然後安裝zookeeper-3.4.6.tar.gz

同樣解壓

cd zookeeper-3.4.6

cd conf

cp zoo_sample.cfg zoo.cfg

cd ../bin

./zkServer.sh start


cd /home/apaache-storm-0.9.3

修改conf/storm.yml


配置storm-zookeeper-server

啓動strom主節點


下面依次到192.168.1.202,192.168.1.203兩個作爲slave節點

配置storm.yml


啓動202節點,查看jps


如果在啓動過程出現以下情況


請關閉master主機的防火牆 service iptables stop


通過打開主節點的ui   ./storm ui > /dev/null 2>&1 &

打開http://192.168.1.201:8080查看運行情況

配置zookeeper集羣配置情況



在配置節點過程中後需要在h1 的/tmp/zookeeper/data下設定 echo 1 > myid 設定爲節點1



同樣在h2,h3節點上dataDir對應的目錄下設置myid 

然後啓動./zkServer.sh start啓動所有節點,zookeeper將按照規則算法選舉leader

可以通過./zkServer.sh status 來檢測zookeeper的狀態,或者通過jps來查看是否存在QuorumPeerMain進程


啓動storm節點做測試,首先將通過maven打包好的jar上傳 可以給這個執行設置別名


通過./storm list來查看正在運行中的storm進程



如果需要殺掉執行 ./storm kill wordcount-test


下面我們來看看zookeeper中的storm執行情況

首先我們要通過 ./zkServer.sh status 查看找到那一臺機器是leader

執行 ./zkServer.sh -server localhost:2181查看




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章