無狀態轉化操作

無狀態轉化操作就是把簡單的 RDD 轉化操作應用到每個批次上,也就是轉化 DStream 中的每一個 RDD。部分無狀態轉化操作列在了下表中。注意,針對鍵值對的 DStream 轉化操作(比如reduceByKey())要添加 import StreamingContext._才能在 Scala 中使用。

 需要記住的是,儘管這些函數看起來像作用在整個流上一樣,但事實上每個 DStream 在內部是由許多 RDD(批次)組成,且無狀態轉化操作是分別應用到每個 RDD 上的。

例如:reduceByKey()會歸約每個時間區間中的數據,但不會歸約不同區間之間的數據。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章