Удалить __Consumer_offset Тематическая форма Kafka

Question

Я пытаюсь удалить тему Кафки __Consumer_offset, так как это вызывает много недоразумений у моих брокеров.Когда я это делаю, он говорит, что эту тему нельзя пометить для удаления.

Я использую zookeeper cli для его удаления, например rmr /brokers/topic __consumer_offset, но он не работает!

Answer 1

__consumer_offsets является внутренней темой kafka, и ее нельзя удалять с помощью команды delete topic.Он содержит информацию о фиксированных смещениях для каждой темы: раздел для каждой группы потребителей (groupID).Если вы хотите полностью стереть его, вы должны удалить местоположение zookeeper dataDir.Это означает, что вы потеряете все метаданные.

Также, если вы просто хотите избавиться от существующих групп потребителей, вы также можете сбросить смещения или рассмотреть возможность их удаления.

Answer 2

AFAIK вы не можете удалить эту тему.Это внутренняя тема, и ее не следует удалять вручную.

Если это необходимо, вам придется вручную очистить / удалить каталог данных.При развертывании брокеров Kafka и Zookeepers создается каталог данных.

Примечание: При удалении каталога данных вы потеряете все темы и связанные с ними данные.Так что это не выполнимый вариант в производстве.