как заставить потребителя Kafka обнаруживать несуществующие темы и удалять их из метаданных?

Question

Мой KafkaConsumer подписывается на шаблон тем. Однако при удалении некоторых устаревших тем он вызывает исключение UNKNOWN_TOPIC_OR_PARTITION при извлечении метаданных из кластера, поскольку потребительский клиент по-прежнему поддерживает удаленную тему в своем списке тем. Информация этих устаревших тем никогда не истечет у потребителя, поэтому я должен перезапустить потребителя, чтобы удалить их. Любые идеи, позволяющие потребителю удалять темы в этих метаданных, когда они не существуют в кластере?

Answer 1

Клиенты Kafka регулярно обновляют свои метаданные (по умолчанию каждые 5 минут).В следующий раз, когда клиент получит обновление своих метаданных, он удалит темы, которые были удалены из своего кэша.

Вы можете настроить частоту обновления метаданных, используя metadata.max.age.ms, см. Consumer config .