zookeeper kafka遷移後logstash消費不了Kafka消息

zookeeper和kafka安裝在同3臺機器上,組成一個集羣,對外提供服務

因爲種種原因,需要將kafka和zookeeper 做整體遷移

首先 申請3臺機器部署好zookeeper服務,加到原來的集羣中,方法見上篇Zookeeper遷移(擴容/縮容)

將kafka也加入到現有的集羣中,將數據遷移到新的broker中

將老的3臺zookeeper 和kafka下線,發現kafka的就無法消費數據,logstash啓動報錯

image.png


解決方法

進入zookeeper 運行zkCli.sh 

運行ls /brokers/topics 查看主題

image.png

然後運行 rmr /brokers/topics/__consumer_offsets 

image.png

然後重啓kafka集羣就好了

nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

image.png



__consumer_offsets數據沒有遷移,所有偏移量還是連接老的borker,所以纔會出現客戶端無法消費的現象

image.png


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章