無狀態轉化操作就是把簡單的 RDD 轉化操作應用到每個批次上,也就是轉化 DStream 中的每一個 RDD。部分無狀態轉化操作列在了下表中。注意,針對鍵值對的 DStream 轉化操作(比如reduceByKey())要添加 import StreamingContext._才能在 Scala 中使用。
需要記住的是,儘管這些函數看起來像作用在整個流上一樣,但事實上每個 DStream 在內部是由許多 RDD(批次)組成,且無狀態轉化操作是分別應用到每個 RDD 上的。
無狀態轉化操作就是把簡單的 RDD 轉化操作應用到每個批次上,也就是轉化 DStream 中的每一個 RDD。部分無狀態轉化操作列在了下表中。注意,針對鍵值對的 DStream 轉化操作(比如reduceByKey())要添加 import StreamingContext._才能在 Scala 中使用。
需要記住的是,儘管這些函數看起來像作用在整個流上一樣,但事實上每個 DStream 在內部是由許多 RDD(批次)組成,且無狀態轉化操作是分別應用到每個 RDD 上的。
import sys sys.path.append('../..') sys.path.append('.') sys.path.append('./') 把這些路徑都加入sys.path就找到了.