python kafka入門

一、上手篇

裝python庫: pip install python-kafka

原理:https://blog.csdn.net/qq_29186199/article/details/80827085

簡單案例:https://blog.csdn.net/weiwangchao_/article/details/81219701

二、kafka官方文檔:

https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html

三、kafka小實例(fork自github官網)

https://github.com/frostjsy/kafka-python/blob/master/example.py

四、kafka重要參數詳解

https://blog.csdn.net/qq_28410283/article/details/88569701

五、offset手動指定

https://www.cnblogs.com/lshan/p/11778752.html

六、遇到的問題

      1、kafka灌數據後無消費輸出,auto_offset_reset默認參數爲'latest' 爲最新的偏移,只有新寫入數據時才能消費;將auto_offset_reset設置爲'earliest'就可以看到歷史推送的數據;

      2、kafka一直從最開始消費,我這邊是忘了設置consumer的groupid,偏移無法重定位,導致了每次都從頭開始消費;添加groupid設置,並設置enable_auto_commit爲true值。

      3、reblance問題:https://www.cnblogs.com/piperck/p/11373018.html

      4、kafka.errors.CommitFailedError解決:https://blog.csdn.net/russle/article/details/83040753

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章