- 博客(5)
- 收藏
- 关注
RSS订阅原创 flink的时间语义和watermark
而定时器等到再一次触发的时候，他会得到当前最大的时间戳然后向下传递，那么，数据和水位线的传递不是异步的，只是数据和水位线来的先后顺序不一样。8. 下游的水位线的产生是这样的，当数据流经prosses算子的时候，算子会判断这是一个什么类型的数据，如果是水位线类型的数据，就会选择出最大的数据作为当前的水位线向下游传递，如果是数据类型就会经过算子的处理逻辑，继续向下运行，水位线是推动事件事件的。5. watermark是单调递增的推荐时间的一种标记，他也是一种数据，在数据流中行走，以推进各个算子的时间。
2023-08-26 18:46:31
54
原创 flink窗口
1）他们都是窗口函数，都是在划分窗口之后才会调用的函数，并且都是增量聚合函数，增量聚合函数就是窗口每来一条数据就进行聚合。2）他们的区别在于，aggregate的输入类型值，中间结果值，返回结果值可以是三种类型的数据，但是reduce只能是输入类型相同和输出是统一类型的数据。4. 窗口中如果设置的水位线无乱序程度，但是窗口设置有允许迟到时间，当数据超过允许迟到的时间后，再进行侧流输出，sideoutputlatebate。再去调用具体的窗口计算逻辑，聚合算子或者apply或者poross方法。
2023-08-26 18:45:56
58
原创 flink的checkpoint机制
6. 对齐快照，如果有多条输入流，流向同一个算子，那么这种方式的话，来的快的那条流就会等待慢的那条流，那么快的那条流的数据还会继续来，只是先放到缓存中，等到慢的栅栏到了，进行state对齐异步快照，做异步快照的时候，会先处理缓存的数据再去处理输入通道的数据。4. jobmannager会定期的去发送barrari给源端算子，barrari经过算子拍照成功之后会发送ack信息通知jobmannager，每个算子都回复ack信息之后，jobmannager会再次通知各个算子拍照完成。
2023-08-26 18:45:00
52
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人