Spark入門案例 - wordcount

代碼:

object WordCount {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().appName("SimpleApp").master("local[1]").getOrCreate()
    val data = Array("hello world", "simple app is good", "good world")
    val result: Array[(String, Int)] = spark.sparkContext.parallelize(data)
      .flatMap(_.split(" "))
      .map((_, 1))
      .reduceByKey(_ + _)
      .collect()
    result.foreach(println)
  }
}

輸出:

(is,1)
(app,1)
(simple,1)
(hello,1)
(good,2)
(world,2)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章