Запустите сервер kafka с дополнительными сторонними плагинами для сбора статистики, ведения логов и т. Д.

Question

Исходя из фона ActiveMQ.ActiveMQ использует конфигурационный файл Spring xml для запуска посредника, и мы можем внедрить любые сторонние плагины, такие как настраиваемый сборщик статистики, настраиваемый подключаемый модуль регистрации, используя bean-компоненты в конфигурационном файле Spring.

Для Кафки я хочу повторноиспользуйте тот же плагин сборщика статистики и запустите его вместе с Kafka для сбора дополнительных системных статистических данных, таких как потоки, процессор и т. д.

Я не смог найти способ после просмотра документации Kafka.У кого-нибудь есть жизнеспособное решение для этого?Это даже достижимо без изменения источника Кафки?

Любая помощь будет принята с благодарностью.Спасибо!

Answer 1

Я нашел информацию о конфигурации metrics.reporter в kafka. Мы можем предоставить и реализацию интерфейса MetricsReporter. В методе init этого интерфейса я инициализировал и запустил сторонние плагины для сбора статистики.

В файле свойств сервера я добавил свойство ниже, чтобы включить пользовательскую реализацию репортера метрик:

metric.reporters=abc.kafka.plugin.KafkaMetricPlugin

Этот метод используется во многих других решениях для мониторинга, таких как круиз-контроль linkedin, центр управления слияниями.

Answer 2

Нет исходного кода для изменения. Вы можете использовать любой сборщик метрик JMX или агент Java.

Java-агент Prometheus популярен, если вы хотите использовать самодельный подход, или есть продукты от таких поставщиков, как DataDog, которые поставляют Java-агенты.

Для любого инструмента, который вы используете, вы можете вводить аргументы времени выполнения через KAFKA_OPTS

Для экспортера Prometheus JMX,

export KAFKA_OPTS='-javaagent:/path/to/jmx_prometheus_javaagent-0.9.jar=7071:/path/to/kafka-patterns.yml'
kafka-server-start /path/to/server.properties

Запись в журнал обрабатывается SLF4J, так что вы можете настроить его в соответствии со своими потребностями, используя регистратор по умолчанию log4j