Я выполняю несколько тестовых сценариев восстановления после сбоев для Kafka connect , процесс перебалансировки раздела действительно отличается от обычной группы потребителей.
Контекст
При обычной перебалансировке разделов групп потребителей, если у меня есть 3 потребителя в одной группе потребителей, и я отключаю одного потребителя, два старых работающих потребителя должны продолжать работать и получать назначенные разделы от остановленных потребителей.
Однако в Kafka Connect, если я отключаю одного потребителя и в связи с этим, Kafka Connect должен учитывать атрибут tasks.max .Старые работающие потребители также будут убиты, и группа потребителей загрузит всех совершенно новых потребителей (все идентификаторы потребителей в группе потребителей были изменены, и я использовал kafka-consumer-group --group ... для проверки).
- Зачем просто создавать нового потребителя с назначенными разделами от остановленных потребителей.
- Кроме того, я не уверен, что этот незначительный другой процесс вызовет какое-то потенциальное влияние на производительность, может кто-нибудь дать мне некоторое представление об этом процессе или я что-то упускаю при настройке.
Заранее спасибо.