sparkstreaming for kafka java.lang.NoClassDefFoundError

原文鏈接:https://blog.csdn.net/appleyuchi/article/details/81633335

錯誤提示發生在: new StreamingContext(....)

轉載:https://blog.csdn.net/appleyuchi/article/details/81633335

注意,Intellij是在java應用中提交的,不是通過spark-submit提交的.

pom中的provided指的是編譯需要,發佈不需要,當我們通過spark-submit提交時,spark會提供需要的streaming包,

而Intellij是通過java提交的,在運行時依然需要streaming的包,所以需要去掉.

所以最終解決方案是:

去掉pom.xml中的

<scope>provided</scope>

即可

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章