開發流程:
flink開發流程比較固化,一般分爲一下幾個階段:
1.獲取一個執行環境 ExecutionEnvironment/StreamExecutionEnvironment
2.加載/初始化數據源返回數據集 source
3.數據加工 transcation
4.指定數據存放位置 sink
5.調用execute()出發執行程序
下面我們正對stream計算對每個階段做詳細介紹:
StreamExecutionEnvironment
StreamExecutionEnvironment是流程執行的上下文,提供了控制作業執行(例如設置並行性或容錯/檢查點參數)和與外部世界交互(數據訪問)的方法。
StreamExecutionEnvironment類結構:
DataStream
datastream表示同一類型的元素流。可以通過應用轉換將一個datastream轉換爲另一個datastream。datastream包含了
StreamExecutionEnvironment和Transformation。
datastream主要方法如下:
datastream類結果:
transcation: