flink实战--水印(watermark)终极总结

扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦

水印(waterMark)

                了解水印前需要了解事件时间(eventTime)和处理时间(processTime)的概念,参考博客:https://blog.csdn.net/aA518189/article/details/82908993 了解事件时间。

                 Flink通过水印来推进事件时间。水印是嵌入在流中的常规记录。计算程序通常通过水印获知某个时间点已到。比如对于一分钟的滚动窗口,假设水印标记时时间为:10:01:00,那么收到水印的窗口就知道不会再有早于该时间的记录出现,因为所有时间戳小于或等于该时间的事件都已经到达。这时,窗口就可以安全的计算并给出结果。水印使得事件时间和处理时间完全无关。迟到的水印并不会影响到结果的正确性,而会影响到结果的速度。

watermar

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章