kafka 消息重複拉取消費超時

業務場景：
接受或者生成日誌給kafka隊列 消費者同步入庫
公司最近業務日誌比較多 於是設計通過MQ傳輸消費
設計的自作多情的時候爲了減少通信 會把日誌歸併（使用阻塞隊列彙集達到100+再發送出去）結果就是出現大規模的消息堆積在kafka裏面
解決：
前面既然說了是自作多情，問題也就在這。大消息發送沒問題，但是在消費的時候出現了問題。業務日誌顯示在頻繁的拉取同一條消息，重複的消費。
原因：消費超時。kafka一次性拉取近500條消息。60秒內消費不完就會超時。導致消費不成功。也就有了後面的重複消費。
這一類業務的正確處理是這樣的，直接單條記錄單條消息發送，kafka自己會做消息的歸併達到一定的量纔會發送。消費也是如此。