1、Couldn't find leader offsets for Set([ndp-topic,0], [ndp-topic,1], [ndp-topic,2])
解決方案:要在kafka集羣的hosts要配到spark的Driver的hosts裏面去,用zk管kafka的話,是可以獲取到Partition信息的, 但是解析地址會失敗,把hosts配成一致就可以了,直接用domain是不行的。
1、Couldn't find leader offsets for Set([ndp-topic,0], [ndp-topic,1], [ndp-topic,2])
解決方案:要在kafka集羣的hosts要配到spark的Driver的hosts裏面去,用zk管kafka的話,是可以獲取到Partition信息的, 但是解析地址會失敗,把hosts配成一致就可以了,直接用domain是不行的。
01 概述 數據是洞察用戶、市場、運營決策的基礎資料,在愛奇藝被廣泛應用在推薦、廣告、用戶增長、營銷等場景中。愛奇藝大數據業務之前採用 Lambda 架構,滿足海量