最近在調試spark-streaming消費kafka消息時發現日誌瘋狂輸出
marking the coordinator host:9092 for dead group consumer-test
kafka server爲集羣，連接時使用的是hostname:9092方法去連接，程序也不報錯，去kafka server當中查詢consumer-test組也存在，經過排查發現是由於我的kafka集羣某些hostname並未在client機器上配置，而其它機器server的hostname配置了，某一個機器網絡是不通的，導致去獲取該機器上的consumer-test組時無法獲取到，就標記該組在機器上爲死亡狀態。
解決方案：配置該kafka server節點的hostname到client的/etc/hosts文件下，保證兩者網絡通信暢通。重新啓動spark應用後，程序消費正常，問題解決