kafka集羣搭建需要用到zookeeper 存儲狀態，zk搭建過程參考zookeeper3.5.5 集羣安裝
一、下載kafka安裝包
$ cd /usr/local/src
$ wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
$ tar xf kafka_2.12-2.3.0.tgz -C /usr/local
$ cd ../kafka_2.12-2.3.0
主配置文件位置
$ ls -al /usr/local/kafka_2.12-2.3.0/config/server.properties
Kafka server 基本配置
###是kafka集羣server的唯一標識
broker.id=1
### Kafka 網絡相關配置
listeners=PLAINTEXT://:9092 ### 由用戶配置協議，ip，port
advertised.listeners=PLAINTEXT://10.100.20.177:9092
num.network.threads=3 ###這個是borker進行網絡處理的線程數
num.io.threads=8 ###這個是borker進行I/O處理的線程數
socket.send.buffer.bytes=102400 ### 發送緩衝區buffer大小，數據不是一下子就發送的，先回存儲到緩衝區了到達一定的大小後在發送，能提高性能
socket.receive.buffer.bytes=102400 ###kafka接收緩衝區大小，當數據到達一定大小後在序列化到磁盤
socket.request.max.bytes=104857600 ### 這個參數是向kafka請求消息或者向kafka發送消息的請請求的最大數，這個值不能超過java的堆棧大小
### 日誌配置
log.dirs=/data/kafka/kafka-logs ###log文件存儲路徑
num.partitions=3 ###topic默認的partitions數量。在創建topic時，一般會指定partitions數量，因此該配置項在上述條件下基本無用。爲了防止在創建topic時，未指定partitions數量，因此推薦使用配置爲3。
##內部topic配置
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2
## log保留策略配置
log.retention.hours=168 ###日誌保留時間，單位小時
log.retention.bytes=1073741824 ###
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
###zookeeper 配置
zookeeper.connect=10.100.210.177:2181,10.100.210.191:2181,10.100.210.192:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=3000
Kafka 網絡相關配置
listeners：由用戶配置協議，ip，port。
num.network.threads：這個是borker進行網絡處理的線程數
num.io.threads：
socket.send.buffer.bytes： 發送緩衝區buffer大小，數據不是一下子就發送的，先回存儲到緩衝區了到達一定的大小後在發送，能提高性能
socket.receive.buffer.bytes：
socket.request.max.bytes：
內部topic配置
開發測試環境推薦使用默認配置，均爲1
生產環境推薦如下配置，replication數量爲3，isr數量爲2。
log 刷盤、落盤機制
log.flush.interval.messages：日誌落盤消息條數間隔，即每接收到一定條數消息，即進行log落盤。
log.flush.interval.ms：日誌落盤時間間隔，單位ms，即每隔一定時間，即進行log落盤。
強烈推薦開發、測試、生產環境均採用默認值，即不配置該配置，交由操作系統自行決定何時落盤，以提升性能。
若對消息高可靠性要求較高的應用系統，可針對topic級別的配置，配置該屬性。
log保留策略配置
log.retention.hours：日誌保留時間，單位小時。和log.retention.minutes兩個配置只需配置一項。
message.max.bytes：表示接受消息體的最大大小，單位是字節
default.replication.factor：默認的備份的複製自動創建topics的個數
replica.fetch.max.bytes：最大備份的拉取數量
log.retention.bytes：日誌保留大小。一topic的一partition下的所有日誌大小總和達到該值，即進行日誌清除任務。當日志保留時間或日誌保留大小，任一條件滿足即進行日誌清除任務,-1表示不限制。
log.segment.bytes：日誌分段大小。即一topic的一partition下的所有日誌會進行分段，達到該大小，即進行日誌分段，滾動出新的日誌文件。
log.retention.check.interval.ms：日誌保留策略定期檢查時間間隔，單位ms。
日誌保留大小，保留時間以及日誌分段大小可根據具體服務器磁盤空間大小，業務場景自行決定。
zookeeper 配置
zookeeper.connect：zk連接地址
zookeeper.connection.timeout.ms：zk連接超時時間，默認6s。可根據具體的應用場景進行更改
consumer group 協調配置
生產環境推薦配置3000
開發測試環境推薦配置0
二、啓動Kafka集羣並測試
啓動Kafka集羣（3臺都需要啓動）
$ cd /usr/local/kafka_2.12-2.3.0/config/
$ ../bin/kafka-server-start.sh -daemon server.properties
查看日誌
$ tail -f -n 400 ../logs/server.log
問題記錄：
Kafka超時錯誤：Timed out waiting for connection while in state
解決：
1）測試是否能和集羣中的其它zooKeeper節點端口通訊
2）測試是否能和集羣中的其它節點Kafka端口通訊
3）查看防火牆配置，如果配置不好iptables，建議關閉
4）關閉SELINUX
5）查看/etc/hosts中有無其它綁定地址，如果有影響，建議臨時註釋後再啓動查看
6）查看/etc/resolv.conf中的DNS配置
我的原因是因爲/etc/resolv.conf中添加了其它的DNS地址，所以導致在Kafka啓動時無法解析到集羣中的其它節點,我把以下節點註釋以後，啓動成功
查看三套機器啓動是否成功
$ jps
25977 Jps
18298 QuorumPeerMain
24524 Kafka
$ netstat -anlp|egrep '2181|9092|2888|3888'
tcp 0 0 10.100.210.191:2888 0.0.0.0:* LISTEN 22886/java
tcp 0 0 10.100.210.191:3888 0.0.0.0:* LISTEN 22886/java
tcp 0 0 0.0.0.0:9092 0.0.0.0:* LISTEN 26661/java
tcp 0 0 0.0.0.0:2181 0.0.0.0:* LISTEN 22886/java
其中2888端口是leader的端口 ，其中一臺會有這個端口
確定啓動成功
測試集羣
$ cd /usr/local/kafka_2.12-2.3.0/bin/
## 創建Topic來驗證是否創建成功
## --replication-factor 2 #複製兩份
## --partitions 1 #創建1個分區
## --topic
$ ./kafka-topics.sh --create --zookeeper 10.100.210.177:2181 --replication-factor 2 --partitions 1 --topic summer
## 查看所有topic和topic 狀態
$ ./kafka-topics.sh --list --zookeeper 10.100.210.177:2181
summer
$ ./kafka-topics.sh --describe --zookeeper 10.100.210.177:2181 --topic summer
Topic:summer PartitionCount:1 ReplicationFactor:2 Configs:
Topic: summer Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2
#分區爲1 複製因子爲2 Topic summer的分區爲0
#Replicas: 0,2 複製的爲0,2
## 創建一個broker，發佈者發佈消息
$ ./kafka-console-producer.sh --broker-list 10.100.210.177:9092 --topic summer
>This is a messages
## 在到另一臺機器或同一臺一臺機器開一個終端創建一個消費者消費
$ ./kafka-console-consumer.sh --bootstrap-server 10.100.210.191:9092 --topic basketball --from-beginning
This is a messages
kafka集羣搭建完畢
登錄zk來查看zk的目錄情況
$ cd /usr/local/apache-zookeeper-3.5.5-bin/bin/
$ ./zkCli.sh -server 10.100.210.177
[zk: 10.100.20.177(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zoo, zoo1, zookeeper]
[zk: 10.100.20.177(CONNECTED) 1] get /brokers/ids/
0 1 2
[zk: 10.100.20.177(CONNECTED) 1] get /brokers/ids/
0 1 2
[zk: 10.100.20.177(CONNECTED) 1] get /brokers/ids/1
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://10.100.20.191:9092"],"jmx_port":-1,"host":"10.100.210.191","timestamp":"1569809877524","port":9092,"version":4}