flink源碼閱讀---stream開發流程

開發流程:

flink開發流程比較固化,一般分爲一下幾個階段:

1.獲取一個執行環境  ExecutionEnvironment/StreamExecutionEnvironment

2.加載/初始化數據源返回數據集 source

3.數據加工 transcation

4.指定數據存放位置 sink

5.調用execute()出發執行程序

下面我們正對stream計算對每個階段做詳細介紹:

StreamExecutionEnvironment

StreamExecutionEnvironment是流程執行的上下文,提供了控制作業執行(例如設置並行性或容錯/檢查點參數)和與外部世界交互(數據訪問)的方法。

StreamExecutionEnvironment類結構:

DataStream

datastream表示同一類型的元素流。可以通過應用轉換將一個datastream轉換爲另一個datastream。datastream包含了

StreamExecutionEnvironment和Transformation。

datastream主要方法如下:

datastream類結果:

transcation:

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章