kafka問題:第一次消費數據巨慢或者org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after

    背景:在開發的過程中,當有大批量的數據進行同時處理的業務場景。爲了保證系統的穩定性和防止數據丟失。我們需要使用消息隊列,進行存儲消息。這裏kafka不失爲一種最佳的選擇。

這裏特別提醒一句話,kafka的版本不對一切都是白費,會出現各種問題。    

但是在使用kafka的過程中,我遇到了如下問題:

1、第一次消費數據是巨慢。大概需要40秒的時間纔可以消費到。

2、當我清理了kafka中的topic和zookeeper中的數據後,突然又開始報如下異常

org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

 我是用的springboot集成的kafka。我的版本分別如下:

springboot 1.5.9
spring-kafka(kafka客戶端)jar包 1.1.7
kafka軟件版本 kafka-2.11-2.1.1

查閱了大量的資料後,定位到是kafka的版本不對的問題。於是我調整版本如下:

springboot 1.5.10(這個其實可以不用調整)
spring-kafka(kafka客戶端)jar包 1.1.7
kafka軟件版本 kafka-2.11-0.11.0.0

然後,重新安裝了kafka後,測試成功。問題解決!!!

順便分享篇好文章:https://blog.csdn.net/u010454030/article/details/78714205

附kafka的下載路徑https://download.csdn.net/download/qq_29281307/12055349

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章