UpdateStateByKey算子

具體用法參考官網UpdateStateByKey Operation
updateStateByKey操作允許您在使用新信息不斷更新時保持任意狀態。 要使用它，您必須執行兩個步驟。

• 定義狀態 - 這個狀態可以是任意的數據類型
• 定義狀態update函數 - 用這個函數指定如何使用先前狀態和新輸入流裏的新值更新狀態
  對於有狀態操作，要不斷的把當前和歷史的時間切片的RDD累加計算，隨着時間的流失，計算的數據規模會變得越來越大。

代碼：

package com.soul.spark.Streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * @author soulChun
  * @create 2019-01-09-20:02
  *         * 統計目前出現的單詞總次數
  *         * 1、將老數據存在某一個地方
  *         * 2、新建來的值和老數據進行狀態更新
  */
object StatefulFunApp {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("StatafulFunApp").setMaster("local[2]")
    val ssc = new StreamingContext(sparkConf,Seconds(10))

    ssc.checkpoint("hdfs://localhost:8020/streamcheckpoint")

    val lines = ssc.socketTextStream("localhost" , 8769)
    val result = lines.flatMap( _.split(" ")).map((_,1))

    val state = result.updateStateByKey[Int](updateFunction _)

    state.print()
    ssc.start()
    ssc.awaitTermination()
  }

  def updateFunction(currentValues: Seq[Int], preValues: Option[Int]): Option[Int] = {
    val current = currentValues.sum
    val pre = preValues.getOrElse(0)
    Some(current + pre)
  }
}

會累計統計出單詞出現的次數