背景:在開發的過程中,當有大批量的數據進行同時處理的業務場景。爲了保證系統的穩定性和防止數據丟失。我們需要使用消息隊列,進行存儲消息。這裏kafka不失爲一種最佳的選擇。
這裏特別提醒一句話,kafka的版本不對一切都是白費,會出現各種問題。
但是在使用kafka的過程中,我遇到了如下問題:
1、第一次消費數據是巨慢。大概需要40秒的時間纔可以消費到。
2、當我清理了kafka中的topic和zookeeper中的數據後,突然又開始報如下異常
org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
我是用的springboot集成的kafka。我的版本分別如下:
springboot | 1.5.9 |
spring-kafka(kafka客戶端)jar包 | 1.1.7 |
kafka軟件版本 | kafka-2.11-2.1.1 |
查閱了大量的資料後,定位到是kafka的版本不對的問題。於是我調整版本如下:
springboot | 1.5.10(這個其實可以不用調整) |
spring-kafka(kafka客戶端)jar包 | 1.1.7 |
kafka軟件版本 | kafka-2.11-0.11.0.0 |
然後,重新安裝了kafka後,測試成功。問題解決!!!
順便分享篇好文章:https://blog.csdn.net/u010454030/article/details/78714205
附kafka的下載路徑https://download.csdn.net/download/qq_29281307/12055349