flink watermark理解

一、watermark三个特点

1、是一条通过自定义函数生成的特殊数据记录,直接插入到数据流中的。

2、必须单调递增,因为watermark是用来表示系统语义上的时间,既然是时间,那么就必须递增。

对于乱序数据,怎么做到单调递增?

很简单,就是一直把已有的watermark与新生成watermark的取最大值返回。

3、watermark与数据时间相关,是通过数据流中的数据时间产生的。

 

二、理解watermark

watermark是一个插入到数据流中的记录(自己写函数生成),生成的watermark通常是对时间戳的包装(即系统语义时间)。

作用:提示根据watermark判断窗口的桶是否触发关闭。

比如窗口时间间隔是5,那么会存在0~5、6~10、11~15等桶。

0~5的桶会把数据中时间在0~5之间的数据放入该桶。但桶的关闭是通过watermark的时间来判断,当watermark的时间大于5时,那么0~5这个桶(窗口)就会关闭,触发窗口聚合函数等操作。如果watermark一直小于5,0~5的桶就一直不会关闭,那么在桶未关闭的时候,数据流中数据的时间如果在0~5之间,那么这些数据就会放入0~5的桶中,直到watermark大于5触发0~5的桶关闭聚合操作为止。

 

所以,如果我们在定义生成watermark的函数中,如果把每次生成的watermark时间减去n,那么就会使得每个桶多等待n的时间,如果在这多等待的n时间内,还有属于0~5时间的数据过来,那么还会放入0~5这个桶中。

 

注意,watermark只与窗口关窗先关时间进行比较,至于窗口开窗时间,还是以eventTime的时间来开启的

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章