Когда потребительский group.id не используется после перезапуска сервера

Question

Будет ли какое-либо влияние на производительность kafka при изменении экземпляра group.id потребителя при его перезапуске. Что будет со старым group.id, будет ли он еще в памяти брокера или когда он будет удален? скажем, если у меня более 1000 пользовательских экземпляров и все они динамически назначают group.id при перезапуске.

Каким будет значение списка, можно указать для {log.retention.ms '}. Могу ли я установить его как 1 мс?

Answer 1

Это будет зависеть от вашей потребительской версии, так как новый потребительский API был введен в kafka 0.9.0.1

Старые группы потребителей, хранящиеся в zookeeper, будут оставаться там до тех пор, пока вы явно не удалите их

kafka-consumer-groups.sh --zookeeper <zookeeper> --list
kafka-consumer-groups.sh --zookeeper <zookeeper> --delete --group <group-name>

Группы потребителей, использующие новые API, будут автоматически удалены после истечения срока их последнего принятого смещения (т. Е. Больше не доступно в теме). Вы можете получить новый список групп потребителей с помощью

kafka-consumer-groups.sh --bootstrap-server <broker> --list --new-consumer

Обратите внимание, что --new-consumer был удален в kafka 2.0.

См. Также удаление группы потребителей kafka в zookeeper

Проблема производительности будет зависеть от конфигурации ваших потребителей (auto.offset.reset) и размера сохранения вашей темы. Если потребители настроены на получение последних сообщений, влияние будет небольшим, но если они настроены на получение самых ранних смещений, а ваши темы огромны, может возникнуть проблема.

Если вы хотите, чтобы ваши потребители читали с самого начала каждый раз при запуске, посмотрите Как читать данные с помощью Kafka Consumer API с самого начала?

log.retention.ms - количество миллисекунд, в течение которых ваши сообщения хранятся в кафке. 1 мс - допустимое значение, но я не уверен, что вы действительно этого хотите.