Kafka安裝步驟:
1.安裝JDK1.8
首先kafka安裝前,要先安裝zookeeper 和 jdk
官方下載:https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
1 .1 安裝:
rpm -ivh jdk-8u202-linux-x64.rpm
#查看真實目錄位置
cd /usr/bin/ && ll | grep java
cd /etc/alternatives && ll | grep -w "java ->"
cd /usr/java/jdk1.8.0_202-amd64 && ll
找到java目錄:/usr/java/jdk1.8.0_202-amd64/
vim /etc/profile
在最尾部,追加:
export JAVA_HOME=/opt/jdk/jdk1.8.0_73
export ZOOKEEPER_HOME=/opt/zk/zookeeper-3.4.12
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
2.安裝zookeeper (配置單機模式)
2.1 下載地址:http://mirrors.hust.edu.cn/apache/zookeeper/
下載最新版:
下載好了之後解壓(我使用zk的是以前的版本):
然後進入解壓的文件,打開配置文件:
複製一份配置文件改名爲zoo.cfg:copy zoo_sample.cfg zoo.cfg
vim zoo.cfg 進入配置文件:
啓動
./bin/zkServer.sh start
停止
./bin/zkServer.sh stop
3. 安裝kafka:
3.1 下載
http://kafka.apache.org/downloads.html
解壓文件:
tar -zxvf kafka_2.12-2.1.0.tgz
3.2修改配置文件:
vim server.properties
添加或修改如下信息:
#broker的全局唯一編號,不能重複
broker.id=0
#用來監聽鏈接的端口,producer或consumer將在此端口建立連接
listeners=PLAINTEXT://localhost:9092
#kafka消息存放的路徑
log.dirs=/home/servers-kafka/logs/kafka
#broker需要使用zookeeper保存meta數據
zookeeper.connect=localhost:2181
3.3測試生產消費:
啓動ZK
zkServer.sh start
啓動Kafka
#調試啓動
/opt/kafka/kafka_2.13-2.5.0/bin/kafka-server-start.sh /opt/kafka/kafka_2.13-2.5.0/config/server.properties
創建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic chenjian01
查看topic list
bin/kafka-topics.sh --list --zookeeper localhost:2181
生產消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic chenjian01
消費消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic chenjian01
從0開始消費所有消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic chenjian01