Всегда ли необходимо перезапускать потоки после сбоя / отработки отказа брокера Kafka - PullRequest
0 голосов
/ 22 октября 2019

Мы используем API-интерфейсы Kafka streams (0.11.0.1) для получения событий из темы. Но всякий раз, когда происходит сбой / аварийное переключение Kafka Broker, нам необходимо перезапустить все стримеры Kafka для восстановления после следующей ошибки:

" Невозможно установить соединение с узлом 39366. Брокер может быть недоступен."

Просто интересно, действительно ли требуется, чтобы стримеры закрывали и перезапускали потоки? Почему стримеры не могут автоматически восстановиться после этой проблемы? Или нам не хватает какой-либо конфигурации в клиенте / брокере?

Теперь мы планируем внести изменения в код для обработки всех исключений потоков и инициировать автоматический перезапуск потоков. Но я действительно переживаю, если это правильный способ справиться с этим сценарием.

Если вы думаете о реальном случае использования, когда сотни клиентов подключаются к брокерам и перезапускают каждого из них, это не имеет никакого смысла.

...