Как заставить потребителей Kafka подписаться на новые разделы

Question

У меня есть пара пользователей Kafka, подписавшихся на тему, и мне нужно добавить несколько разделов. Я играю в промежуточной среде и добавляю несколько новых разделов. Насколько я понимаю, Кафка должна автоматически восстанавливать баланс и подписываться на новые разделы. За исключением случаев, перезапуск не помогает. Каждый раз, когда я делал это (теперь дважды) волшебным образом за одну ночь, потребители подписываются на новые разделы.

Если я создаю новую тестовую группу в консоли, она нормально подписывается на новые разделы. Но подписка с существующим идентификатором группы в консоли приводит к перебалансированию рабочих, но не включает новые разделы.

Почему они не подписываются при создании разделов? И что происходит в одночасье, из-за чего они начинают видеть новые разделы?

Answer 1

По умолчанию клиенты (потребители и производители) обновляют свои метаданные каждые 5 минут. Это определяется по metadata.max.age.ms.

В вашем примере потребители найдут новые разделы только при обновлении своих метаданных. Поэтому вам нужно либо установить более низкое значение, либо немного подождать.