記錄kafka consumer 消費失敗

簡單記錄一下困擾一天的kafka問題

背景是拿備份數據啓kafka服務，之後項目就連不上kafka

輸出大致是這樣的：

 [      Thread-27] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=111] Group coordinator xxxxx:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery
 [      Thread-27] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=111] Discovered group coordinator xxxxx:9092 (id: 2147483647 rack: null)
 [      Thread-27] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=111] Group coordinator xxxxx:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery

原因有很多：

1. kafka 相應的hostname 和ip 對應本地沒有配置,telnet檢查下

2. 

可能因爲異常重啓，造成__consumer_offsets的清理一直沒有進行，積累了大量歷史數據，kafka一直加載__consumer_offsets，導致__consumer_offsets無法正常工作，從而提示Coordinator unavailable 。

解決方案：刪除kafka_log/__consumer_offsets的歷史文件，再啓動Kafka進程即可。