一、上手篇
裝python庫: pip install python-kafka
原理:https://blog.csdn.net/qq_29186199/article/details/80827085
簡單案例:https://blog.csdn.net/weiwangchao_/article/details/81219701
二、kafka官方文檔:
https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html
三、kafka小實例(fork自github官網)
https://github.com/frostjsy/kafka-python/blob/master/example.py
四、kafka重要參數詳解
https://blog.csdn.net/qq_28410283/article/details/88569701
五、offset手動指定
https://www.cnblogs.com/lshan/p/11778752.html
六、遇到的問題
1、kafka灌數據後無消費輸出,auto_offset_reset默認參數爲'latest' 爲最新的偏移,只有新寫入數據時才能消費;將auto_offset_reset設置爲'earliest'就可以看到歷史推送的數據;
2、kafka一直從最開始消費,我這邊是忘了設置consumer的groupid,偏移無法重定位,導致了每次都從頭開始消費;添加groupid設置,並設置enable_auto_commit爲true值。
3、reblance問題:https://www.cnblogs.com/piperck/p/11373018.html
4、kafka.errors.CommitFailedError解決:https://blog.csdn.net/russle/article/details/83040753