SparkStreaming从入门到放弃(二)

本节主要针对Dstream 静态模板的讲解。回顾RDD,rdd是一个只读的数据集,因此不难知道,dstream也是一个数据集,也有transfermation和output。在dstreaming中,transfermation有map\filter\join\reduce等,output有print\save\foreachRDD等。

看上节的例子:

ssc.socketTextStream("localhost", 9999).flatMap(_.split(“ ”)).map(word=>(word,1)).reduceBykey(_+_).print();

上面的调用方式为:

我们知道在实际运行job时是从后向前回溯的,RDD 的计算是被触发了以后才进行 lazy 求值的,即当真正求 d 的值的时候,先计算上游 dependency c;而计算 c 则先进一步计算 c 的上游 dependency a  bSpark Streaming 里则与 RDD DAG 的反向表示保持了一致,对 DStream 也采用的反向表示。D.print()  new 一个 d 的一个下游 ForEachDStream x —— x 中记明了需要做的操作 func = print() ,然后在每个 batch 动态生成 RDD 实例时,以 x 为根节点、进行一次 BFS(宽度优先遍历

 

总结:

  • Spark Streaming 记录整个 DStream DAG 的方式,就是通过一个 DStreamGraph 实例记录了到所有的 output stream 节点的引用
    • 通过对所有 output stream 节点进行遍历,就可以得到所有上游依赖的 DStream
    • 不能被遍历到的 DStream 节点 —— 如 g 和 h —— 则虽然出现在了逻辑的 DAG 中,但是并不属于物理的 DStreamGraph,也将在 Spark Streaming 的实际运行过程中不产生任何作用
  •  DStreamGraph 实例同时也记录了到所有 input stream 节点的引用
    • DStreamGraph 时常需要遍历没有上游依赖的 DStream 节点 —— 称为 input stream —— 记录一下就可以避免每次为查找 input stream 而对 output steam 进行 BFS 的消耗
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章