Spark學習02——創建DStream的方法

Spark Streaming提供兩類內置流媒體源。

基本來源：StreamingContext API中直接提供的源。示例：文件系統和套接字連接。
高級資源：Kafka，Flume，Kinesis等資源可通過額外的實用程序類獲得。

基本來源如下,高級來源可參考官網例子：

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/DirectKafkaWordCount.scala

方法一、通過套接字socket創建

object GenerateChar {
  def generateContext(index : Int) : String = {
    import scala.collection.mutable.ListBuffer
    val charList = ListBuffer[Char]()
    for(i <- 65 to 90)
      charList += i.toChar
    val charArray = charList.toArray
    charArray(index).toString
  }
  def index = {
    import  java.util.Random
    val rdm = new Random
    rdm.nextInt(7) 
  }
  def main(args: Array[String]) {
    val listener = new ServerSocket(9998)
    while(true){
      val socket = listener.accept()
      new Thread(){
        override def run() = {
          println("Got client connected from :"+ socket.getInetAddress)
          val out = new PrintWriter(socket.getOutputStream,true)
          while(true){
            Thread.sleep(500)
            val context = generateContext(index)  //產生的字符是字母表的前七個隨機字母
            println(context)
            out.write(context + '\n')
            out.flush()
          }
          socket.close()
        }
      }.start()
    }
  }
}

object ScoketStreaming {
  def main(args: Array[String]) {
    //創建一個本地的StreamingContext，含2個工作線程
    val conf = new SparkConf().setMaster("local[2]").setAppName("ScoketStreaming")
    val sc = new StreamingContext(conf,Seconds(10))   //每隔10秒統計一次字符總數
    //創建珍一個DStream，連接master:9998
    val lines = sc.socketTextStream("master",9998)
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x => (x , 1)).reduceByKey(_ + _)
    wordCounts.print()
    sc.start()         //開始計算
    sc.awaitTermination()   //通過手動終止計算，否則一直運行下去
  }
}

方法二、文件流

Spark Streaming通過監控文件系統的變化，若有新文件添加，則將它讀入並作爲數據流
需要注意的是：
1.這些文件具有相同的格式
2.這些文件通過原子移動或重命名文件的方式在dataDirectory創建
3.一旦移動這些文件，就不能再進行修改，如果在文件中追加內容，這些追加的新數據也不會被讀取。

object FileStreaming {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("FileStreaming")
    val sc = new StreamingContext(conf,Seconds(5))
    val lines = sc.textFileStream("/home/hadoop/wordCount")
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x => (x , 1)).reduceByKey(_ + _)
    sc.start()
    sc.awaitTermination()
  }
}

方法三、RDD隊列流

使用streamingContext.queueStream(queueOfRDD)創建基於RDD隊列的DStream，用於調試Spark Streaming應用程序。
QueueStream:程序每隔1秒就創建一個RDD，Streaming每隔1秒就就對數據進行處理

object QueueStream {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local[2]").setAppName("queueStream")
    //每1秒對數據進行處理
    val ssc = new StreamingContext(conf,Seconds(1))
    //創建一個能夠push到QueueInputDStream的RDDs隊列
    val rddQueue = new mutable.SynchronizedQueue[RDD[Int]]()
    //基於一個RDD隊列創建一個輸入源
    val inputStream = ssc.queueStream(rddQueue)
    val mappedStream = inputStream.map(x => (x % 10,1))
    val reduceStream = mappedStream.reduceByKey(_ + _)
    reduceStream.print
    ssc.start()
    for(i <- 1 to 30){
      rddQueue += ssc.sparkContext.makeRDD(1 to 100, 2)   //創建RDD，並分配兩個核數
      Thread.sleep(1000)                                  
    }
    ssc.stop()
  }
}