Spark Streaming（四）—— Spark Streaming輸出

輸出操作允許DStream的操作推到如數據庫、文件系統等外部系統中。目前，定義了下面幾種輸出操作：

使用Spark SQL來查詢Spark Streaming處理的數據：

import org.apache.log4j.Logger
import org.apache.log4j.Level
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.storage.StorageLevel
import org.apache.spark.sql.SparkSession
 
object MyNetwordWordCountWithSQL {
   
  def main(args: Array[String]): Unit = {
    System.setProperty("hadoop.home.dir", "G:\\bin\\hadoop-2.5.2")
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
     
    val conf = new SparkConf().setMaster("local[2]").setAppName("MyNetwordWordCountWithSQL")
     
    val ssc = new StreamingContext(conf,Seconds(5))
     
    val lines = ssc.socketTextStream("192.168.15.131",1234,StorageLevel.MEMORY_ONLY)
     
    val words = lines.flatMap(_.split(" "))
     
    //集成Spark SQL 使用SQL語句進行WordCount
    words.foreachRDD( rdd => {
      
      // 以前創建spark:
      // val spark = SparkSession.builder().master("local").appName("SparkSQLDemo3").getOrCreate() 
      // 現在將master和appName封裝進conf
      // 使用單例模式，創建SparkSession對象	
      // 必須使用當前的StreamingContext對應的SparkContext創建一個SparkSession。此外，必須這樣做的另一個原因是使得應用可以在driver程序故障時得以重新啓動，這是通過創建一個可以延遲實例化的單例SparkSession來實現的。
      val spark = SparkSession.builder().config(rdd.sparkContext.getConf).getOrCreate()
       
      import spark.implicits._
      // 將RDD[String]轉換成DataFrame
      val df1 = rdd.toDF("word")
       
      df1.createOrReplaceTempView("words")      
       
      spark.sql("select word , count(1) from words group by word").show()
    })
     
    ssc.start()
    ssc.awaitTermination()
  } 
}

問題：

報錯：Connection對象不是一個可被序列化的對象，不能RDD的每個Worker上運行；即：Connection不能在RDD分佈式環境中的每個分區上運行，因爲不同的分區可能運行在不同的Worker上。所以需要在每個RDD分區上單獨創建Connection對象。 應該改爲：