今天使用Spark進行RDD操作,當我開始運行程序時,出現Caused by: java.lang.ClassNotFoundException: scala.Product$class,
我最後檢查了下,發現我項目裏面的spark-core版本和整個項目的scala版本不一致所導致的。
我用Maven構建的項目,pom.xml文件部分結構如下:
由於我之前出錯的原因是:spark-core依賴我寫的 spark-core_2.11 最後導致運行出錯,這裏的artifactId中的spark-core_2.12要和scala 2.12.0版本一致。