linux下kafka安裝

準備事項

1. 安裝Java JDK，我用的系統是centos7.4，JDK版本是1.8.0，就可以了，如果不是的，最好更新到Java8
2. 將對應的端口開發，我這裏使用的是默認配置，所以打開的是2181和9092

安裝zookeeper

1. 下載軟件，下面是我的鏈接地址，也可以下載最新的
   1. http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6.tar.gz
2. 解壓縮到本地即可
3. 複製Conf下的zoo_sample.cfg，重命名爲zoo.cfg，這個就是默認引用的配置文件
4. 修改配置文件中的信息
   1. dataDir：數據存儲地址
   2. clientPort：啓動端口，這裏需要注意，linux下端口需要開放，否則可能會啓動失敗
5. 運行bin/zkServer.sh star啓動

安裝kafka

1. 下載軟件，下面是我的鏈接地址，也可以下載最新的
   1. http://apache.01link.hk/kafka/2.3.1/kafka_2.12-2.3.1.tgz
2. 解壓縮到本地即可

運行與測試

1. 運行zookeeper
   1. 可以使用kafka自帶的，bin/zookeeper-server-start.sh config/zookeeper.properties
   2. 也可以使用自己安裝的版本，啓動命令同上
2. 運行kafka

bin/kafka-server-start.sh config/server.properties

3. 創建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topicName
#localhost:2181 是zookeeper的IP和端口，具體可以根據安裝調整，需要注意的是，如果修改這個端口，kafka的配置文件中的端口監聽也需要修改
bin/kafka-topics.sh -list -zookeeper localhost:2181
#可以用這個命令查詢當前的topic list

4. 使用

#建生產者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicName
#localhost:9092 是kafka的IP和端口，啓動後需要一些等待時間，然後會出現>標誌，就可以正常輸入了。每輸入一條信息，回車後輸入下一條，ctrl+C中斷輸入
#創建消費者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --from-beginning
#可以看到名爲topicName的隊列的消息，生產者輸入的信息，都會實時展示出來