建立一个网站需要多长时间,如何做企业黄页网站,30秒短视频制作报价明细,wordpress菜单子分类背景
本文来讲解一下flink的水位线传播及对其对任务事件时间的影响
水位线
首先flink是通过从源头生成水位线记录的方式来实现水位线传播的#xff0c;也就是说水位线是嵌入在正常的记录流中的特殊记录#xff0c;携带者水位线的时间戳#xff0c;以下我们就通过图片的方…背景
本文来讲解一下flink的水位线传播及对其对任务事件时间的影响
水位线
首先flink是通过从源头生成水位线记录的方式来实现水位线传播的也就是说水位线是嵌入在正常的记录流中的特殊记录携带者水位线的时间戳以下我们就通过图片的方式来讲解下水位线是如何传播以及更新任务的事件时间的. 如上图所示任务中的事件时间等于任务中收到的前置任务中的最小水位线时间然后任务会把当前任务的事件时间通过广播的方式向下游传播.
总结
从水位线的更新我们可以知道它依赖于前置的每个任务周期性的推进对应分区的水位线时间也就是如果某个分区的水位线时间一直不更新那么任务的事件时间就会没法更新这样也就导致一直没法触发时间相关算子任务的计算从而导致该任务只能不停的缓冲其他分区的记录流从而导致状态大小膨胀以及内存消耗的增加甚至导致OOM的严重后果所以所有分区的水位线必须有规律的递增并且相互之间不能相差太大。
