Скользящее окно для характеристики времени события в мгновение ока - PullRequest
0 голосов
/ 10 апреля 2019

Я новичок во Флинке, нужна помощь с подходом.У меня есть поток событий со временем детализации 5 минут.Я хочу получить метаданные о событии, вызвав rest API с историческими событиями за последние 1 час данных, т.е. за последние 12 баллов (5-минутная детализация времени).

например, события имеют метку времени 10:00, 10:05, 10:10, 10:15 и т. Д., Поэтому, если я хочу получить метаданные события с меткой времени 11:00, я позвоню отправить все событияс отметками времени 10:00, 10:05, 10:10, 10:15 .. 10: 55

Я реализовал подход с использованием среды выполнения TimeCharacteristic.EventTime и использовал AssignerWithPeriodicWatermarks для извлечения отметки времени события и водяного знака с помощьюЗадержка в 1 час.

Чтобы получить предыдущие баллы, я создал скользящее окно продолжительностью 1 час и скользящее 5 минут (при условии, что одно событие будет скользить вместе с окном).Я создал ProcessAllWindowFunction, собрал все элементы окна и вызвал остальные API.Однако, когда я печатаю элементы окна, я получаю около 400 отметок времени события.

Похоже, что окна не создаются должным образом.Не уверен, что проблема в коде или моем подходе

1 Ответ

0 голосов
/ 17 апреля 2019

Вы используете allowedLateness? Эта функция может быть вызвана многократным запуском окна.

https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#allowed-lateness

...