學習storm安裝過程
1.首先安裝jdk配置jdk環境
rpm -ivh jdk1.7.0_71.rpm
配置環境變量
JAVA_HOME=/usr/java/jdk1.7.0_71
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
expot PATH JAVA_HOME CLASSPATH
2.安裝zeromq
wget http://download.zeromq.org/zeromq-4.0.5.tar.gz
tar -zxvf zeromq-4.0.5.tar.gz
cd zermq-4.0.5
./configure
make && make install
如果在安裝過程中發現錯誤確保已經安裝了一下相關依賴
gcc-c++ autoconf automake libtool gcc gcc- make libuuid-dev uui-dev
下面是安裝jzmq
git clone https://github.com/zeromq/jzmq.git
cd jzmq
./autogen.sh
./configure
make && make install
檢查python是否安裝
which python
python -V
下面安裝storm
我們下載apache-storm-0.9.3.tar.gz
tar -zxvf apache-storm-0.9.3.tar.gz
然後安裝zookeeper-3.4.6.tar.gz
同樣解壓
cd zookeeper-3.4.6
cd conf
cp zoo_sample.cfg zoo.cfg
cd ../bin
./zkServer.sh start
cd /home/apaache-storm-0.9.3
修改conf/storm.yml
配置storm-zookeeper-server
啓動strom主節點
下面依次到192.168.1.202,192.168.1.203兩個作爲slave節點
配置storm.yml
啓動202節點,查看jps
如果在啓動過程出現以下情況
請關閉master主機的防火牆 service iptables stop
通過打開主節點的ui ./storm ui > /dev/null 2>&1 &
打開http://192.168.1.201:8080查看運行情況
配置zookeeper集羣配置情況
在配置節點過程中後需要在h1 的/tmp/zookeeper/data下設定 echo 1 > myid 設定爲節點1
同樣在h2,h3節點上dataDir對應的目錄下設置myid
然後啓動./zkServer.sh start啓動所有節點,zookeeper將按照規則算法選舉leader
可以通過./zkServer.sh status 來檢測zookeeper的狀態,或者通過jps來查看是否存在QuorumPeerMain進程
啓動storm節點做測試,首先將通過maven打包好的jar上傳 可以給這個執行設置別名
通過./storm list來查看正在運行中的storm進程
如果需要殺掉執行 ./storm kill wordcount-test
下面我們來看看zookeeper中的storm執行情況
首先我們要通過 ./zkServer.sh status 查看找到那一臺機器是leader
執行 ./zkServer.sh -server localhost:2181查看