Kafka的安裝部署

第一步、 首先安裝JRE/JDK 

第二步、安裝Zookeeper

第三步、 下載kafka 

進入下載頁面：http://kafka.apache.org/downloads.html 

選擇Binary downloads下載 （Source download需要編譯才能使用），也可以直接在linux終端下載： 

Shell代碼  

1. wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz  

 

第四步、解壓

Shell代碼  

1. tar -xzvf kafka_2.8.0-0.8.1.tgz  

2. rm kafka_2.8.0-0.8.1.tgz  

3. cd kafka_2.8.0-0.8.1

 

解壓後的目錄：

 

Ø /bin 啓動和停止命令等 

Ø /config 配置文件 

Ø /libs 類庫 

注意：根據環境去修改配置文件中的信息

第五步、啓動

Ø 啓動Kafka server

Shell代碼  

1. bin/kafka-server-start.sh config/server.properties &  

 

Ø 停止kafka server

Shell代碼  

1. bin/kafka-server-stop.sh  

 

 

測試：（使用控制檯輸出測試）

一、單機的連通性測試

Ø 運行producer： 

Shell代碼  

1. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test  

早期版本的Kafka，--broker-list localhost:9092需改爲--zookeeper localhost:2181  

 

Ø 運行 consumer

Shell代碼  

1. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning  

在producer端輸入字符串並回車，查看consumer端是否顯示。 

二、分佈式連通性測試 

Zookeeper Server, Kafka Server, Producer都放在服務器server1上，ip地址爲192.168.1.10 
Consumer放在服務器server2上，ip地址爲192.168.1.12。 

分別運行server1的producer和server2的consumer， 

Shell代碼  

1. bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test  

Shell代碼  

1. bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning  

 

注意：
一、系統錯誤

Kafka默認開啓JVM壓縮指針，但只是在64位的HotSpot VM受支持，如果安裝了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件 

Shell代碼  

1. vi bin/kafka-run-class.sh  

找到如下行： 

Sh代碼  

1. KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"  

去除-XX:+UseCompressedOops參數 

 

二、分佈式連通測試報錯

在producer的console端輸入字符串，consumer報Connection refused錯誤： 
broker, producer和consumer都註冊到zookeeper上，producer和consumer的參數明確指定。問題出在broker的配置文件server.properties上： 

Properties代碼  

1. # Hostname the broker will bind to. If not set, the server will bind to all interfaces  

2. #host.name=localhost  

host名稱沒有指定，就是127.0.0.1，consumer去broker拿數據就有問題。設置爲192.168.1.10，重啓服務就好了。

 

三、Kafka集羣的自動停止

解決方案就是採取後臺啓動的方式：

bin/kafka-server-start.sh -daemon ./config/server.properties  &