問題
kafka consumer 啓動後 , 得到如標題的異常 .
查閱資料 , 得知是 __consumer_offsets
這個 topic 異常了 .
異常可能是 topic 被刪除不存在了 , 也可能是 因爲分區或其他原因 , 導致這個 topic 異常了 .
去 zookeeper 上看下這個 topic 是否存在 .
ls /brokers/topics
[__consumer_offsets , xx,xx]
1) __consumer_offsets 不存在
./kafka-topics.sh --zookeeper master:2181 --partitions 1 --replication-factor 1 --create --topic __consumer_offsets
topic 不存在的 , 直接創建一個 .
2) __consumer_offsets 存在
我的就是這個問題 , topic 存在 , 但是在 kafka 遷移過程中產生了異常 .
- 那麼需要先把 kafka 停掉 .
- 刪除 zookeeper 裏的 topic
# 刪除 node 信息
deleteall /brokers/topics/__consumer_offsets
# 刪除 node
delete /brokers/topics/__consumer_offsets
- 重啓 kafka .
理論上重啓 kafka , consumer 自動上線 , 會自動創建
__consumer_offsets
topic , 如果沒有的話, 照上一步 , 手動創建一個 .