文章目錄
1. jar包下載
下載地址：http://kafka.apache.org/downloads.html
2. 安裝zookeeper集羣，並啓動
3. kafka集羣部署
3.1. 解壓安裝包
tar -zxvf kafka_2.11-0.11.0.0.tgz
3.2 在解壓後的目錄創建logs文件夾
mkdir logs
3.3 修改配置文件
cd config/
vi server.properties
修改內容如下：
#broker的全局唯一編號，不能重複
broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#處理網絡請求的線程數量
num.network.threads=3
#用來處理磁盤IO的現成數量
num.io.threads=8
#發送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka運行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#topic在當前broker上的分區個數
num.partitions=1
#用來恢復和清理data下數據的線程數量
num.recovery.threads.per.data.dir=1
#segment文件保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連接Zookeeper集羣地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
3.3.1
#broker的全局唯一編號，不能重複
broker.id=0
3.3.2
#刪除topic功能使能
delete.topic.enable=true
3.3.3
#kafka運行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
3.3.4
#配置連接Zookeeper集羣地址
zookeeper.connect=hostname1:2181,hostname2:2181,hostname3:2181
3.4 配置環境變量
vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
3.5 分發安裝包和環境變量的配置文件
xsync /etc/profile
xsync kafka/
3.6 分別在hostname2，hostname3上修改配置文件/kafka/config/server.propreties中的broker.id=1、broker.id=2
- 注：broker.id不能重複，且都爲整數
3.7 啓動集羣
依次在hostname1、hostname2、hostname3節點上啓動kafka
bin/kafka-server-start.sh config/server.properties
- 注：該進程爲阻塞進程，如果看到進程沒有結束標誌不要害怕，這是正常的，可以再開一個窗口進行操作。
3.8 關閉進程
# 分別在三臺服務器上執行
bin/kafka-server-stop.sh stop