Kafka-сжатый лог раздел темы и место на диске

Question

Я не могу найти информацию о том, как Kafka справится с ситуацией, когда у сжатого в журнале раздела раздела не хватит места на физическом диске, где он расположен.

Будет ли брокер Кафка (и данные вообще) - выживет или потерпит неудачу в этом случае?

Answer 1

Как и любой другой процесс ОС, Кафка скажет, что не может открыть файл, потому что в нем недостаточно места.

Брокер Kafka и другие процессы ОС начнут останавливаться и / или выходить из строя.

Вам необходим мониторинг томов вашего диска, по крайней мере, с порогом 80% в зависимости от скорости увеличения. Если вы достигнете уровня выше 90%, вам, вероятно, придется перевести брокера в автономный режим, чтобы добавить больше памяти или добавить больше брокеров и переназначить некоторые разделы самостоятельно

Некоторые инструменты мониторинга даже позволяют использовать линейную регрессию для прогнозирования, когда вы достигнете емкости.