Брокеры Kafka закрываются из-за неудачных попыток регистрации - PullRequest
Новая
       88

Брокеры Kafka закрываются из-за неудачных попыток регистрации

0 голосов
/ 16 апреля 2020

У меня есть 3 кластера Kafka с журналами Kafka в каталоге / tmp. Я использую Debezium Source Connector для MongoDB, который опрашивает данные из 4 коллекций.

Однако через 5 минут после запуска коннектора брокеры Kafka завершают работу со следующей ошибкой: 

[2020-04-16 18:25:08,642] ERROR Shutdown broker because all log dirs in /tmp/kafka-logs-1 have failed (kafka.log.LogManager)

Я пробовал различные предложения, а именно. Удаление журналов Кафки и очистка журналов Zookeeper. Но я снова столкнулся с той же проблемой.

Я также заметил, что журналы kafka занимают 100% каталога / tmp, когда это происходит. Поэтому я также изменил политику хранения журналов в зависимости от размера. 

log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=10000

Это также оказалось бесполезным. Я хотел бы получить некоторую помощь по этому поводу. Заранее спасибо!

1 Ответ

1 голос
/ 16 апреля 2020

Ваши файлы журналов повреждены, вероятно, из-за того, что у вас закончилось хранилище.

Я бы предложил изменить log.dirs в server.properties. Также убедитесь, что вы не используете местоположение tmp/, так как оно будет очищено после выключения вашей машины. Как только вы изменили log.dirs, вы можете перезапустить Kafka.

Обратите внимание, что старые сообщения будут потеряны.

...