Слияние группы потребителей Kafka?

Question

У меня 4 темы:

topicA
topicB
topicC
topicD

У меня 2 группы:

groupA
groupB

groupA в настоящее время используется против topicA и topicB

groupB в настоящее время используется против topi cC и topicD

Можно ли создать новую группу потребителей, которая копирует коммиты смещения раздела topi c groupA для topicA и topicB и groupB для topi cC и topicD?

Могу ли я сделать это для более чем двух групп одновременно?

Answer 1

Не существует автоматического способа объединения групп потребителей и их текущего положения смещения в их разделах topi c.

Чтобы получить решение, вы можете использовать инструмент командной строки kafka-consumer-groups. Чтобы объединить группы потребителей groupA и groupB, вы можете сначала проверить смещения группыB, а затем установить такие же смещения для groupA.

Установка смещений также может быть выполнена с помощью kafka-consumer-groups инструмент:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
 --execute --reset-offsets \
 --group groupA\
 --topic topicC \
 --partition 0 \
 --to-offset <insert number from groupB>

Более подробную информацию об инструменте можно найти в документации Kafka, раздел Управление группами потребителей