1、軟件環境
1、三臺虛擬機192.168.0.66（mdw），192.168.0.67（sdw1），192.168.0.68（sdw2）
2、已經搭建好的zookeeper集羣，ZK的搭建可以參考鏈接
https://blog.csdn.net/weixin_43120559/article/details/105531275
3、軟件版本kafka_2.11-0.9.0.1.tgz
2、準備好kafka安裝包
官網下載地址： http://kafka.apache.org/downloads.html，我下載的是kafka_2.11-2.4.1
3、開始安裝
3.1 上傳 kafka_2.11-2.4.1.tgz 到 /opt/tools/ 目錄下
3.2 解壓 kafka_2.11-2.4.1.tgz 到 /opt/apps/ 目錄下
解壓命令: tar -zvxf /opt/tools/kafka_2.11-2.4.1.tgz -C /opt/apps/
3.3 建立軟鏈接： ln -s /opt/apps/kafka_2.11-2.4.1 /opt/apps/kafka
配置環境變量：hadoop下的.bashrc文件
#set kafka environment
export KAFKA_HOME=/opt/apps/kafka
export PATH=${KAFKA_HOME}/bin:$PATH
3.4 進入config目錄 cd /opt/apps/kafka/config
主要關注server.properties 這個文件即可，我們可以發現在目錄下：有很多文件，這裏可以發現有Zookeeper文件，我們可以根據Kafka內帶的zk集羣來啓動，但是建議使用獨立的zk集羣
3.5 修改配置文件
broker.id=0 #當前機器在集羣中的唯一標識，和zookeeper的myid性質一樣
port=19092 #當前kafka對外提供服務的端口默認是9092
host.name=192.168.7.100 #這個參數默認是關閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題。
num.network.threads=3 #這個是borker進行網絡處理的線程數
num.io.threads=8 #這個是borker進行I/O處理的線程數
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個目錄可以配置爲“，”逗號分割的表達式，上面的num.io.threads要大於這個目錄的個數這個目錄，如果配置多個目錄，新創建的topic他把消息持久化的地方是，當前以逗號分割的目錄中，那個分區數最少就放那一個
socket.send.buffer.bytes=102400 #發送緩衝區buffer大小，數據不是一下子就發送的，先回存儲到緩衝區了到達一定的大小後在發送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收緩衝區大小，當數據到達一定大小後在序列化到磁盤
socket.request.max.bytes=104857600 #這個參數是向kafka請求消息或者向kafka發送消息的請請求的最大數，這個值不能超過java的堆棧大小
num.partitions=1 #默認的分區數，一個topic默認1個分區數
log.retention.hours=168 #默認消息的最大持久化時間，168小時，7天
message.max.byte=5242880 #消息保存的最大值5M
default.replication.factor=2 #kafka保存消息的副本數，如果一個副本失效了，另一個還可以繼續提供服務
replica.fetch.max.bytes=5242880 #取消息的最大直接數
log.segment.bytes=1073741824 #這個參數是：因爲kafka的消息是以追加的形式落地到文件，當超過這個值的時候，kafka會新起一個文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ），到目錄查看是否有過期的消息如果有，刪除
log.cleaner.enable=false #是否啓用log壓縮，一般不用啓用，啓用的話可以提高性能
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #設置zookeeper的連接端口
實際修改的是：
broker.id=3
listeners=PLAINTEXT://192.168.0.66:9092
zookeeper.connect=192.168.0.66:2181,192.168.0.67:2181,192.168.0.68:2181
3.6 複製到其他節點：
scp -r kafka sdw1:/opt/apps
注意其他節點的配置文件需要修改
4、啓動kafka（確保ZK已啓動）
1、三臺主機分別啓動（在$kafaka路徑下啓動）
/opt/apps/kafka/bin/kafka-server-start.sh -daemon config/server.properties
啓動報錯：
查看日誌：
[hadoop@mdw logs]$ cat kafkaServer.out Java HotSpot™ 64-Bit Server
VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0)
failed; error=‘Cannot allocate memory’ (errno=12)
報錯原因：
Kafka默認使用的JVM內存配置：
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
如果服務器內存較小，需要調整啓動配置。
解決辦法：
打開/opt/apps/kafka/bin/binkafka-server-start.sh，降低啓動內存大小.
如：export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"
2、檢查服務是否啓動
執行命令 jps
3317 QuorumPeerMain
3797 Jps
3735 Kafka
3、創建Topic來驗證是否創建成功
cd /opt/apps/kafka/bin
#創建Topic
./kafka-topics.sh --create --zookeeper 192.168.0.66:2181 --replication-factor 2 --partitions 1 --topic shuaige
#解釋
--replication-factor 2 #複製兩份
--partitions 1 #創建1個分區
--topic #主題爲shuaige
#查看創建的topic信息
./kafka-topics.sh --describe --zookeeper 192.168.0.66:2181 --topic shuaige
'''在一臺服務器上創建一個發佈者'''
#創建一個broker，發佈者
./kafka-console-producer.sh --broker-list 192.168.0.66:19092 --topic shuaige
'''在一臺服務器上創建一個訂閱者'''
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic shuaige --from-beginning
至此集羣版的KAFKA搭建成功。