检查点的保存原理(屏障Barrier):
Flink引入了异步屏障快照(Asynchronous Barrier Snapshot, ABS)。
1、基于Chandy-Lamport算法的分布式快照。
2、将检查点的保存和数据处理分离开,不暂停整个应用。
流屏障(stream barrier):
Flink分布式快照里面的一个核心的元素。
屏障barrier由JobManager上的checkpoint协调器定时广播给计算任务所有的Source。
Barrier的到来就是一个算子进行checkpoint的时间节点。
Barrier之前的数据状态保存在当前的检查点中,之后的数据会保存在下一个检查点当中。