Мы столкнулись со следующей проблемой:
Существует служба (приложение kafka-streams), которая была закрыта на ~ 4 дня. После включения он начал потреблять уже потребительские сообщения, обработанные за пару дней до закрытия службы. Сервис имеет auto.offset.reset: latest, который должен предотвращать такое поведение.
Мы обнаружили, что лаг Кафка значительно увеличился (примерно на 30 миллионов сообщений) ровно через день после остановки службы.
Возможно, я ошибаюсь, но похоже, что смещение было перенесено в начало темы - поэтому latest не сработало. Как такое могло случиться?
Может ли это быть как-то связано с kafka-потоками (у нас есть пара преобразователей с постоянными хранилищами состояний)?