Spark Windows開發環境搭建

1. 參照：Spark在Windows下的環境搭建
2. 使用idea或者其他開發工具編寫代碼
3. 直接運行main 方法

代碼示例：

package org.fashj.spark

import org.apache.spark.{SparkConf, SparkContext}

/**
  * @author zhengsd
  */
object SparkPi {
  def main(args: Array[String]) {
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("SparkPi")
    val sc = new SparkContext(conf)
    val text = sc.textFile("file:\\C:\\devtools\\spark\\README.md")
    val result = text.flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).collect()
    result.foreach(println)

  }
}

---

可以用
Idea上使用Gradle構建Spark項目，也可以使用普通的Java項目方式。