flink實戰--水印(watermark)終極總結

掃一掃加入大數據公衆號和技術交流羣,瞭解更多大數據技術,還有免費資料等你哦

水印(waterMark)

                瞭解水印前需要了解事件時間(eventTime)和處理時間(processTime)的概念,參考博客:https://blog.csdn.net/aA518189/article/details/82908993 瞭解事件時間。

                 Flink通過水印來推進事件時間。水印是嵌入在流中的常規記錄。計算程序通常通過水印獲知某個時間點已到。比如對於一分鐘的滾動窗口,假設水印標記時時間爲:10:01:00,那麼收到水印的窗口就知道不會再有早於該時間的記錄出現,因爲所有時間戳小於或等於該時間的事件都已經到達。這時,窗口就可以安全的計算並給出結果。水印使得事件時間和處理時間完全無關。遲到的水印並不會影響到結果的正確性,而會影響到結果的速度。

watermar

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章