kafka 安裝部署教程
1. 下載
官網鏈接 http://kafka.apache.org/downloads
浙大源 http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz
2. 解壓
tar -zxvf kafka_2.11-0.11.0.1.tgz
3. 配置單節點
3.1 配置單節點 zookeeper
我們使用 kafka 自帶的 zookeeper
cd /root/kafka #進入kafka主目錄
mkdir -p zk/data #創建zookeeper數據存放目錄
mkdir -p zk/logs #創建zookeeperl存放日誌目錄
cd config #進入配置文件所在目錄
mv zookeeper.properties zookeeper.properties.bak #將原配置文件移走
cat > zookeeper.properties << EOF
tickTime=2000
dataDir=/root/kafka/zk/data
dataLogDir=/root/kafka/zk/logs
clientPort=2181
EOF
到具體情況時注意修昨dataDir和dataLogDir爲自己的相應目錄
3.2 配置單結點 kafka
cd /root/kafka #進入kafka主目錄
mkdir logs #創建logs目錄用於存放日誌
cd config #進入配置文件所在目錄
mv server.properties server.properties.bak #將原配置文件移走
cat > server.properties << EOF
broker.id=1
listeners=PLAINTEXT://127.0.0.1:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/myapp/kafka_2.11/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=127.0.0.1:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
EOF
上邊配置的server.properties的內容基本都是原server.properties的默認配置,到自己安裝時主要修改:
broker.id–broker的id;修改爲任意自己想要的數值(和zookeeper中的id類似的)
listeners–監聽址址;修改爲kafka要監聽的地址
log.dirs–日誌文件存放目錄;修改爲自己要存放日誌的目錄
zookeeper.connect–zookeeper監聽地址;修改爲自己的zookeeper的監聽地址,如果是集羣所有地址全寫上用逗號(半角)隔開即可
4.啓動和停止
啓動前要配置JAVA_HOME
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties #啓動zookeeper
./kafka-server-start.sh -daemon ../config/server.properties #啓動kafka
停止:
./zookeeper-server-stop.sh #停止zookeeper
./kafka-server-stop.sh #停止kafka,centos7上可能關不了用kill -9直接殺掉
查看是否有zookeeper和kafka進程:
jps