Прежде всего, я должен сказать, что я новичок в Kafka и в потоковом режиме, но я постараюсь объяснить проблему как можно лучше.
Моя команда в настоящее время разрабатывает и приложение для обработки данныхиспользуя Kafka Streams. Мы используем управление окнами для выполнения операций агрегации, и нам нужно отправлять результаты только тогда, когда окно закрыто.
Теперь вот сама проблема: срок хранения нашего окна составляет три дня (да, это правильно),Мы должны держать окно открытым в течение этого длительного периода времени на случай, если какая-либо запись поступит с опозданием, но нормальный ход операций заключается в том, что все записи прибывают вовремя, и мы можем определить, когда одна партия завершена, поэтому сформируйте большинствовремени окна не должны оставаться открытыми так долго.
Поэтому мой вопрос: зная, что последняя запись партии уже поступила до 3-дневного периода хранения окна, верно? можно закрыть окно и выдать результаты агрегации?