Как эффективно вычислить результат нескольких потоков Flink из одного источника

Question

например:

Существует журнал воспроизведения видео в формате: user_id, video_id, play_duration, video_duration, страна, дата запроса

Я хочу вычислить:

а. количество игровых событий за последнюю минуту

б. номер игрового события сегодня

с. Топ-10 самых популярных видео (время воспроизведения) за последний час

д. Топ10 самых активных пользователей (время воспроизведения) за последний час

В вышеупомянутых 4 задачах они используют один и тот же источник, но с тремя разными временными окнами. Существуют ли эффективные решения для выполнения этих заданий без запуска 3 или 4 заданий для дублирования потребления.

Answer 1

У вас может быть одно задание, которое разделяет поток на 4 пути, а затем присоединяет один из этих оконных операторов к каждому из дублированных потоков. Вы можете выполнить разделение либо с помощью split / select, либо с помощью боковых выходов .