kafka+zookeeper+storm+hdfs實現日誌處理

kafka+zookeeper+storm+hdfs實現日誌處理


硬件需求：
服務器三臺：192.168.0.63/64/65


一、安裝zookeeper
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
cp zookeeper-3.4.6.tar.gz /usr/local/
tar -zxvf zookeeper-3.4.6.tar.gz
ln -s zookeeper-3.4.6 zookeeper
mkdir -p /opt/zkdata/data /opt/zkdata/log
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#下面是編輯內容
tickTime=2000    
initLimit=10    
syncLimit=4   
dataDir=/opt/zkdata/data    
dataLogDir=/opt/zkdata/log   
clientPort=2181
server.0=192.168.0.63:8800:7700    
server.1=192.168.0.64:8801:7701    
server.2=192.168.0.65:8802:7702  


cd /opt/zkdata/data
echo 0 > myid


上述操作同步到另外2臺服務器
執行啓動：/usr/local/zookeeper/bin/zkServer.sh start


二、安裝kafka
wget http://mirror.bit.edu.cn/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
cp kafka_2.11-0.9.0.0.tgz  /usr/local/
tar -zxvf kafka_2.11-0.9.0.0.tgz
ln -s kafka_2.11-0.9.0.0.tgz kafka
cd /usr/local/kafka/config
vim server.properties
#下面是編輯內容
broker.id=0
zookeeper.connect=h1:2181,h2:2181,h3:2181/kafka


advertised.host.name=192.168.0.63（多機器時ip不同，僅配置host.name就會出現Exception in thread "main" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries）
然後保存


/usr/local/zookeeper/bin/zkCli.sh
create /kafka ''


同樣的安裝配置工作在另外兩臺服務器上執行。
然後分別修改兩臺服務器上的/usr/local/kafka/config/server.properties
broker.id=1,和broker.id=2


然後在三臺服務器上分別執行：
bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
如果要後臺啓動：
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties &




三、安裝storm
wget http://apache.opencas.org/storm/apache-storm-0.10.0/apache-storm-0.10.0.tar.gz
cp apache-storm-0.10.0.tar.gz /usr/local
tar -zxvf apache-storm-0.10.0.tar.gz
ln -s apache-storm-0.10.0 storm


#修改/etc/profile文件，
export STORM_PATH="/usr/local/storm"
PATH=$JAVA_HOME/bin:$ZOOKEEPER/bin:$STORM/bin:$PATH  
. /etc/profile


mkdir -p /opt/storm/workdir/


vim /usr/local/storm/conf/storm.yaml
#注意：文件中配置項前面須有2個空格
  storm.zookeeper.servers:  
     - "192.168.0.63"  
     - "192.168.0.64"  
     - "192.168.0.65" 
  nimbus.host: "192.168.0.63"  
#配置slot的ip地址。配幾個地址，就有幾個slot(worker)。若提交的topology所聲明的worker數超過當前可用的slot，該topology提交會失敗。
  supervisor.slots.ports:  
     - 6700  
     - 6701  
     - 6702  
 storm.local.dir: "/opt/storm/workdir"  
以上步驟在其他機器上重複執行


啓動使用storm
1. 在nimbus機器的Storm的bin目錄下執行: storm nimbus  
2. 在nimbus機器上啓動 Storm UI: storm ui  
3. 啓動supervisor: storm supervisor  
4. 打開Storm UI 頁面。http://192.168.0.63:8080  


參考文章http://shiyanjun.cn/archives/934.html