У меня есть несколько брокеров, которые заботятся о данных нескольких приложений.У меня есть средство очистки журналов для всех брокеров, для которых разрешено удаление cleanup.policy.Несколько недель назад возникла проблема, когда очиститель журнала перестал работать в одном из брокеров, и это привело к полному использованию диска, и его не удалось обнаружить.
Я ищу эффективный способ проверить, перестал ли работать очиститель журналов брокера .
Во-первых, я использую Kafka 1.0.2 версию .
В качестве простого метода я попытался просмотреть журналы очистителя журналов, и когда журнал не обновлялся в течение значительного времени, это означало, что очиститель журналов перестал работать.
Но журнал очистки журналов некоторых брокеров по какой-то причине не обновлялся, несмотря на то, что очиститель журналов работал (понятно, потому что размер журнала приложений не увеличивался после значительного увеличенияколичество времени).
Я пытался поиграться с несколькими конфигами log.cleaner.min.cleanable.ratio, log.retention.check.interval.ms и т. Д., Почему журнал не очищался, но я не мог сделать вывод. Любые идеи о том, как проверить, работает ли средство очистки журнала или почему журнал средства очистки журнала не будет записываться в журнал?
TLDR;
Возникли проблемы суборщик журнала Kafka остановился и не смог вовремя его обнаружить.Ищите эффективный метод проверки завершения работы журнала.