У меня есть поток событий, который выглядит так:
REMOTE_SOURCE <-> ПРОИЗВОДИТЕЛЬ <-> KAFKA <-> ПОТРЕБИТЕЛЬ
REMOTE_SOURCE предоставляет данные ПРОИЗВОДИТЕЛЮ через сокет TCP. ПОТРЕБИТЕЛЬ проверяет поток событий и собирает некоторые данные.
В случае проблем с соединением между REMOTE_SOURCE и PRODUCER, мне нужно уведомить ПОТРЕБИТЕЛЯ, что поток событий может быть неправильным.
Каков правильный / распространенный способ в решениях на основе Kafka, если существует проблема соединения между REMOTE_SOURCE и PRODUCER? Должен ли я использовать какие-то контрольные записи в теме? Должен ли я иметь тему управления данными и синхронизировать темы на стороне ПОТРЕБИТЕЛЕЙ? Есть ли какой-то механизм управления в самой Кафке?