利用pykafka壓力測試kafka,利用了多進程模式,根據自己機器調高進程數;
with topic.get_producer(delivery_reports=True) as producer:
如果使用上面的delivery_reports=True配置,能到達每秒幾百兆的併發量,但是內存會持續暴漲;(此問題待解決)
with topic.get_producer(sync=True) as producer:
如果使用上面的sync=True配置,併發量只有幾十KB,因爲要等kafka存好數據返回才進行下一循環;
pykafka壓力測試kafka源碼下載鏈接:https://download.csdn.net/download/lucia555/10686980
有問題加QQ羣:877769335
或者用QQ掃描二維碼加羣: