Кафка: сделать группу потребителей неактивной

Question

Я использую конвейер данных, так что я читаю данные из sql db в тему kafka через jdbc connect. Я передаю эти данные в Elasticsearch, используя соединитель приемника kafka для ES

. Мне нужно сбросить этот конвейер.Для этого я хочу сбросить группу потребителей, которая прослушивает темы подключения jdbc.Поэтому я запускаю следующую команду

kafka-consumer-groups --reset-offsets --to-earliest --all-topics --execute --group mygroup --bootstrap-server myserver:9092

Но я получаю эту ошибку

Error: Assignments can only be reset if the group 'mygroup' is inactive, but the current state is Stable.

Я остановил соединение, чтобы сделать группу неактивной, но это не сработало.Итак, мой вопрос, как мне сделать мою группу неактивной

Answer 1

--reset-offsets необходимо проверить, активен ли потребитель в данный момент, перед сбросом смещений.Stable указывает, что потребитель в настоящее время активен, и поэтому смещения не могут быть сдвинуты назад.

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group mygroup --describe

должны давать любые активные группы потребителей (если таковые имеются).Вывод поможет вам определить, какие приложения в данный момент активны.Как только приложения, поддерживающие активность потребителей, будут уничтожены, вы сможете сбросить смещения.

В качестве альтернативы, если вы используете старых потребителей, вы можете удалить группу (ы) потребителей, запустив

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --group mygroup --delete

и, наконец, сбросить смещения.