Можно ли убить потребителя с сервера Kafka?

Question

Когда я проверяю на потребительскую задержку, это показывает, что конкретный consumer-id работает с определенного хоста, потребляющего тему.Но когда я иду на этот хост, такой потребитель не работает.

Как мне убить это consumer-id, чтобы я мог сбросить смещение потребителя для группы, в которую он входит.

Kafka server version: 0.11.0.1

Kafka client version(stuck): 0.10.0.2

Этот consumer-id застрял в первую очередь, поскольку он не мог принимать сообщения из-за некоторых сообщений, имеющих заголовки в Kafka.

Я уже пробовал следующее:

1. Потребляя от другого хоста и другой версии Kafka, он принимает сообщения, но идентификатор потребителя, хост не меняется.
2. Перезапускает kafka брокер, который является лидером по этой теме.
3. Изменение групп безопасности для предотвращения подключения хоста к моему брокеру.

Answer 1

Возможно, вы видите не идентификатор потребителя, а группу потребителей, см. Документацию Kafka, конфигурацию потребителя, чтобы узнать о разнице.

Kafka использует группы потребителей, чтобы отслеживать последнее использованное сообщение (потребительсмещение), поэтому, когда речь идет о отставании потребителя, это, вероятно, объяснение.

Это означает, что потребитель не работает, и вам нужно всего лишь избавиться от смещения потребителя для этой группы.См. Например Как удалить группу потребителей Kafka для сброса смещений?