Spark Streaming 報錯：NoSuchMethodError: scala.Predef$.ArrowAssoc

   最近在學習Spark ，做了一些練習，發現了一些問題。

   昨天在做Spark Streaming 的練習，編譯打包項目時沒有任何錯誤，但是運行時報錯：

15/05/26 21:33:24 INFO cluster.SparkDeploySchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
	at stream.tan14.cn.streamTest$.main(streamTest.scala:25)
	at stream.tan14.cn.streamTest.main(streamTest.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

 而我代碼中的25行爲：

val topicpMap = Map("netflow" -> 2)

  上面的代碼居然會有錯！！太不可接受了，這讓我一時不知所措了。

   通過Google 大神找到了一些線索，可以參考：http://stackoverflow.com/questions/25089852/what-is-the-reason-for-java-lang-nosuchmethoderror-scala-predef-arrowassoc-upo

    在上面的資料中的得知應該時Scala 不同版本在造成的，然後查找資料，得知Spark 1.2.1使用的Scala版本是2.10.4，此時我的SBT配置如下：

scalaVersion := "2.11.2"

libraryDependencies ++= Seq(
   "org.apache.spark" % "spark-core_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming-kafka_2.10" % "1.2.1"
)

     然後我將SBT的內容改成如下：

scalaVersion := "2.10.4"

libraryDependencies ++= Seq(
   "org.apache.spark" % "spark-core_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming-kafka_2.10" % "1.2.1",
   "org.scala-lang" % "scala-library" % "2.10.4",
   "org.scala-lang" % "scala-reflect" % "2.10.4",
   "org.scala-lang" % "scala-compiler" % "2.10.4",
   "org.scala-lang" % "scalap" % "2.10.4"
)

    接着，在File ->Project Structure ->Artifacts ->Output Layout中將Scala 對應的包的版本2.10.4 或者 直接將原來Artifacts 中對應的項目刪掉，重新從Artifacts ->Jar ->From modules with dependencies 添加Build  ，運行。問題解決！

    最近在學習Spark 並做一些練習的時候，總是存在：編譯,Build通過，但是運行的時候就報錯，而且查資料發現，基本都跟Scala 的版本有關。所以，再此備註，希望以後儘量將項目的Scala 版本跟Spark 中使用的Scala 版本保持一致，避免不必要的錯誤。