Как я могу уменьшить размер файла журнала Kafka Alpakka

Question

Я делаю репликацию данных в alpakka, используя Consumer.commitableSource.Но размер файла журнала kafka увеличивается очень быстро.Размер достигает 5 Гб в день.Чтобы решить эту проблему, я хочу немедленно удалить обработанные данные.Я использую метод удаления записи в AdminClient для удаления смещения.Но когда я смотрю на файл журнала, данные, соответствующие этому смещению, не удаляются.

Answer 1

При использовании commitableSource необходимо подтвердить, что запись была успешно прочитана и готова к очистке путем фиксации смещения.Вы можете сделать это, позвонив по номеру commitJavadsl().Посмотрите на пример в документации для получения дополнительной информации.