首页 笔记 图片 查字 
所属分类:Flink
浏览:84
内容:

事件时间:EventTime,事件创建的时间。
摄入时间:ProcessingTime,源算子DataSource拿到事件数据的时间。
处理时间:IngestionTime,算子处理事件的本地系统事件。

水位线:Watermark,基于事件时间提出的概念,自定义的逻辑时钟,是flink用来度量事件时间的处理进度的机制。
The mechanism in Flink to measure progress in event time is watermarks.

水位线的特性:
Watermark 保证结果正确性的核心机制,通常和窗口算子配合使用。
Watermark(ts) 表示在当前流中事件时间已经达到了时间戳ts,代表ts之前的所有数据都到齐了,之后流中不会出现时间戳≤ts的数据
Watermark 插入到数据流中的一个标记,是一条特殊的数据记录
Watermark 主要内容是一个时间戳,用来表示当前事件时间的进展
Watermark 时间戳必须单调递增,以确保任务的事件时间时钟一直向前推进
Watermark 通过设置延迟,来保证正确处理乱序数据