Можно ли регистрировать все входящие сообщения в Apache Kafka

Question

Мне нужно знать, можно ли настроить ведение логов для брокера Apache Kafka для записи всех произведенных / потребленных тем и их сообщений.Я искал log4j.properties, но ни одно из предложенных свойств, кажется, не делает то, что мне нужно.

Заранее спасибо.

Просматривая сгенерированные файлы журналов Kafka, ни одно из них не кажетсярегистрировать сообщения, написанные в разных темах.

Answer 1

Я чувствую, что есть некоторое замешательство со словом "бревно".

Когда вы говорите о log4j, я предполагаю, что вы говорите о том, что я бы назвал "журналами приложений". Кафка не записывает записи, которые обрабатывает в журналах приложения / log4j. В Kafka журналы log4j используются только для отслеживания ошибок и предоставления некоторого контекста о работе, которую выполняют брокеры.

С другой стороны, Кафка записывает / читает записи в / из своего " log ", журнала Кафки. Они хранятся по пути, указанному log.dirs (по умолчанию /tmp/kafka-logs), и не могут быть непосредственно прочитаны. Вы можете использовать инструмент DumpLogSegments для чтения этих файлов, если хотите, например:

bin/kafka-run-class.sh kafka.tools.DumpLogSegments \
    -f /tmp/kafka-logs/topic-0/00000000000000000000.log