Spark:Caused by: java.lang.ClassNotFoundException: scala.Product$class解決

今天使用Spark進行RDD操作,當我開始運行程序時,出現Caused by: java.lang.ClassNotFoundException: scala.Product$class,

我最後檢查了下,發現我項目裏面的spark-core版本和整個項目的scala版本不一致所導致的。

我用Maven構建的項目,pom.xml文件部分結構如下:

由於我之前出錯的原因是:spark-core依賴我寫的 spark-core_2.11 最後導致運行出錯,這裏的artifactId中的spark-core_2.12要和scala 2.12.0版本一致。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章