SparkStreaming中的轉化操作之--無狀態操作

沒有數據的時候不會報錯,它會一直等待,所以不需要進行判斷

 

  每個DStream在內部是由許多RDD(也叫批次)組成,且無狀態轉化操作是分別應用到每個RDD上的。

  無狀態轉化操作的例子map、filter、等等,操作都是每個批次中的數據,但是DStream如果使用join,union等基於健的操作的話,那麼所傳的RDD就必須同樣也是DStream纔行

SparkStreaming中無狀態操作的例子:

Map
filter 
flatMap
repartition 
reduceByKey 
groupByKey
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章