目錄
概述:
基操
wordcount
運行架構:
yarn模式
flink流處理api
Transform
flink支持類型
sink
window
watermark
底層api ProcessFunction
側輸出流
狀態編程和容錯機制
容錯機制:
狀態一致性:
flink和kafka端到端一致性
Table api 和 Flink sql
時間語義
概述:
基操
wordcount
批處理:
流處理:
運行架構:
yarn模式
flink流處理api
也可以自定義sourcefunction類,不過需要重寫方法。
Transform
flink支持類型
sink
輸出途徑很多,重點關注kafka。
window
watermark
還遲到的數據可以放進側輸出流。
自定義watermark
底層api ProcessFunction
側輸出流
狀態編程和容錯機制
容錯機制:
狀態一致性:
flink和kafka端到端一致性
Table api 和 Flink sql
從文件讀取:
從kafka讀取:
表的查詢:
輸出到kafka:
時間語義
窗口:
函數: