kafka分佈式安裝

前言：
Kafka的分佈式集羣的操作，需要藉助於ZooKeeper，所以第一步，需要保證zookeeper的正常使用。
官網：http://kafka.apache.org
版本：kafka_2.11-1.1.1.tgz(2.11指的是scala版本，1.1.1指的是kafka的版本)
下載地址：http://archive.apache.org/dist/kafka/

1、解壓： tar -zxvf soft/kafka_2.11-1.1.1.tgz -C app/

2、重命名：mv kafka_2.11-1.1.1 kafka或者添加軟連接ln s kafka_2.11-1.1.1 kafka

3、添加KAFKA_HOME至環境變量：~/.bash_profile或者/etc/profile
export KAFKA_HOME=/home/hadoop/apps/kafka
export PATH=$PATH:$KAFKA_HOME/bin:$KAFKA_HOME/sbin
配置完成後source ~/.bash_profile 或者 source /etc/profile

4、配置相關參數：$KAFKA_HOME/config/server.properties
主要參數：broker.id、port、log.dirs、zookeeper.connect
#每一臺的配置要唯一
broker.id=1
#手動創建log目錄
log.dirs=/home/hadoop/logs/kafka/
#指定zookeeper的節點，因爲我的zookeeper共有三臺是分佈式高可用的，所以把地址都寫上
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop01:2181/kafka

5、將配置好的節點拷貝scp到其他節點上
scp -r kafka/ hadoop@hadoop02:/home/hadoop/app
scp -r kafka/ hadoop@hadoop03:/home/hadoop/app
6、修改$KAFKA_HOME/config/server.properties中的broker.id爲2,3
7、在其他兩個節點分別進行2、3步驟
8、在每臺節點上啓動所有的kafka節點：
$KAFKA_HOME/bin/zookeeper-server-start.sh -daemon $KAFKA_HOME/config/zookeeper.properties

?:
~/apps/kafka/bin/kafka-server-start.sh -daemon 
~/apps/kafka/config/server.properties

9、驗證：
首先在每臺機器上使用jps查看是否有kafka的進程；

如有可以再次進行確認，那就是使用zkCli.sh進入zookeeper中進行查看，

這裏面的ids就是步驟4中每臺節點之前配置broker.id參數；
如果失敗可以查看日誌：more /home/hadoop/logs/kafka/kafka-server.log

備註：如果想過要停止kafka的進程，需要執行zookeeper-server-stop.sh,然後等待幾秒後jps查看，實在停不掉就只能使用kill -9 進程名 來強殺進程了