использовать Flink для обработки сообщений кафки за последние 10 минут?

Question

Мы рассматриваем возможность использования Flink SQL для специальной аналитики данных Кафки в реальном времени за последние 5-10 минут.Похоже, что для этого нам нужно расширить коннектор Kafka, чтобы он мог только читать сообщения за определенный период времени, и использовать его для генерации конечного источника ввода.

Мне интересно, есть ли альтернативный подход к этому.Любые предложения будут приветствоваться.

Answer 1

Разъем Flink Kafka поддерживает , устанавливая начальную позицию различными способами, включая myConsumer.setStartFromTimestamp(...).Коннектор таблицы Kafka поддерживает эти же параметры .

Если вы хотите использовать SQL-клиент Flink, вам может потребоваться написать тонкую оболочку, которая будет заниматься вычислением отметки времени 10 минут назад и соответственно устанавливает начальное смещение Кафки.