Как найти причину, по которой кафка брокера вышла из строя?

Question

Мы используем kafka версии 2.11-0.11.0.2 и zookeeper версии 3.3.6. И они работают на Ubuntu 16.0.4.

Мы создаем данные со скоростью 3 тыс. Сообщений в секунду, а размер каждого сообщения составляет около 150 байт. у нас есть 7 брокеров и 1 зоокейпер, а иногда некоторые брокеры выходят из строя.

Итак, как мы можем выяснить причину, по которой тот или иной брокер вышел из строя? И где хранятся журналы остановок брокера, откуда мы можем проверить журналы и узнать, почему они были остановлены?

Answer 1

Если вы пытаетесь запустить брокера Kafka, используя

bin/kafka-server-start.sh config/server.properties

ошибки будут сообщаться в терминале.

Если вы работаете с несколькими брокерами, я бы предложил сохранить запущенные процессы в фоновом режиме и сохранить результаты в файле. Например,

nohup bin/kafka-server-start.sh config/server.properties >> server1.out 2>&1 &

запустит посредника и сохранит вывод процесса в server1.out.