У меня сложная топология, включающая в себя KStreams, KTables, объединения, повторное использование, фильтры, сквозные, ветвления, почтовые индексы и т. Д. С живыми клиентами по темам вывода.
Все входные, промежуточные и выходные темы являются темами на основе avro.
Как мне обрабатывать изменения в топологии (добавление новых шагов, новые темы ввода-промежуточного-вывода), зная, что kafka-streams поддерживает внутреннее состояние и журналы изменений, соответствующие следующим бизнес-требованиям:
- без потери данных
- без дублирования данных (в определенной степени)
- без простоев
Ответ лежит где-то между использованием kafka-streams-application-reset илисоздание новой группы потребителей (идентификатор приложения)?