Потеря данных Kafka (когда LAG превышает 20 000)

Question

при вводе данных в Producer - Kafka - Logiste - Elastic Search. В это время, если Kafka накапливает более 20 000 данных (если потребитель не может их принять), он внезапно становится прочитанным. Другими словами, если LAG превышает 20000, он равен CURRENT-OFFSETdl LOG-END-OFFSET.

Я не знаю почему. Я не испытывал это раньше. Вы знаете, что не так?

Answer 1

Вы можете проверить конфигурацию хранения сообщений в вашем кластере Kafka. Пожалуйста, обратитесь к этому ответу или этой документации. Ищите «log.retention» в документации Kafka.