Настройте __consumer_offset в kafka_connect, чтобы уменьшить пространство

Question

Я прочитал, что на брокерах есть конфигурация для настройки продолжительности хранения данных смещения с offset.retention.minutes. Моя архитектура Kafka состоит из 3 ZK, 3 брокеров и 2 рабочих kafka connect. Настройка, которую я использую, поставляется с этим сообщением . Я установил эту конфигурацию на 10 минут, но эффекта нет, и все же у меня ошибка, потому что мой диск переполнен, и я предположил, что виноват __consumer_offset.

Answer 1

offsets.retention.minutes

Ниже приводится заявление из документов Kafka.

После того, как группа потребителей потеряет все свои потребители (т. е. становятся пустыми), его смещения будут сохраняться в течение этого периода хранения до того, как будут сброшены. Для автономных потребителей (с использованием ручного назначения) смещения будут истекать после времени последнего принятия плюс этот период хранения .

В выпуске Kafka 2.4.0 , добавлено улучшение KAFKA-8730, которое предоставляет возможность вручную удалять _consumer_offset ( KIP-496 )

В классе KafkaAdminClient предусмотрена функция deleteConsumerGroupOffsets для то же. Пожалуйста, go через следующие URL, чтобы получить подробную информацию об этом.

https://github.com/apache/kafka/pull/7276

https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/admin/KafkaAdminClient.java

Надеюсь, это будет для вас надеждой.