zookeeper和kafka安裝在同3臺機器上,組成一個集羣,對外提供服務
因爲種種原因,需要將kafka和zookeeper 做整體遷移
首先 申請3臺機器部署好zookeeper服務,加到原來的集羣中,方法見上篇Zookeeper遷移(擴容/縮容)
將kafka也加入到現有的集羣中,將數據遷移到新的broker中
將老的3臺zookeeper 和kafka下線,發現kafka的就無法消費數據,logstash啓動報錯
解決方法
進入zookeeper 運行zkCli.sh
運行ls /brokers/topics 查看主題
然後運行 rmr /brokers/topics/__consumer_offsets
然後重啓kafka集羣就好了
nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &
__consumer_offsets數據沒有遷移,所有偏移量還是連接老的borker,所以纔會出現客戶端無法消費的現象