Здесь есть несколько задач. Одна из задач - BookingInfoWithFraudAndDefaultAndMainSP -> TSAndWMBookingWithSPObjects. Давайте назовем это task-1. В задаче 1 я назначаю временную метку и генерирую водяной знак, я использую BoundedOutOfOrdernessTimestampExtractor с maxOutOfOrderness, равным 2 мин.
Следующий оператор - это окно, в котором я отображаю данные и выполняю некоторые агрегации поверх них, которые затем направляются в Кафку. Давайте назовем эту цепочечную задачу «Агрегация и погружение» Task-2.
numLateRecordsDropped. Рассмотрим метрику, которая сообщает The number of records this operator/task has dropped due to arriving late.
Вопрос: Когда я оконные элементы, я назначил 0 допустимых Lateness. Так что это могло бы упасть некоторые элементы. Но когда я смотрю на метрики, поскольку окно не является оператором, нет метрики, которая могла бы сказать, сколько элементов отбрасывается окнами.
Когда я смотрю на метрики задачи 2, показывается счет для numLateRecordsDropped. Что это значит. Как задача агрегации окон может отбрасывать записи. Или, поскольку он агрегирует окна, количество в основном является количеством записей, отброшенных окнами.