Я читаю из Кафки, используя Apache Beam.Я хочу использовать временную метку события из полезной нагрузки вместо стандартной LogAppendTime из-за неправильной записи в Kafka.
Я видел решение в Apache Beam: Ошибка при назначении времени события с использованием Withtimestamp
Как мы определяем водяной знак?Учитывая это должно быть монотонным.
В методе
getWatermark (TimestampPolicy.PartitionContext ctx)
Как определить водяной знак при наличии события, которое задерживается на несколько часов.
Похоже, что это очень распространенный сценарий неупорядоченных записей и окна времени.Я не видел много литературы о том, как это.