Flink 學習筆記

目錄

概述:

基操

wordcount

運行架構:

yarn模式

flink流處理api

Transform

flink支持類型

sink

window

watermark

底層api ProcessFunction

側輸出流

狀態編程和容錯機制

容錯機制:

狀態一致性:

flink和kafka端到端一致性

Table api 和 Flink sql

時間語義


概述:

基操

wordcount

批處理:

流處理:

    

運行架構:

 

yarn模式

flink流處理api

也可以自定義sourcefunction類,不過需要重寫方法。

Transform

flink支持類型

sink

輸出途徑很多,重點關注kafka。

window

watermark

還遲到的數據可以放進側輸出流。

自定義watermark

底層api ProcessFunction

側輸出流

狀態編程和容錯機制

容錯機制:

狀態一致性:

flink和kafka端到端一致性

Table api 和 Flink sql

從文件讀取:

從kafka讀取:

表的查詢:

輸出到kafka:

時間語義

窗口:

函數:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章