Есть ли Elastic Search Beat, который можно прочитать из темы Кафки?

Question

У меня есть настройка ELK с выходом, идущим непосредственно в Elastic Search, а не в Logstash.Мы используем ELK ver 7.3.2 с базовой лицензией и работаем под Linux RedHat.

У нас есть топология из 3 узлов Kafka и 2 узлов Cassandra.Я был в состоянии настроить метрику с настройкой по умолчанию.Этот метрический показатель собирает группы Kafka и названия тем, которые появляются на этом хосте VM, но этого недостаточно, чтобы увидеть, отключатся ли потребители.

Было легко настроить Heartbeat, который будет пинговать 3 узла Kafka.

Этого недостаточно для моей команды.

• Почему метрический бит выбирает темы Кафки?
• Есть ли бит, который я могу установить и настроить для чтения непосредственно из темы Кафки?
• Есть ли способнастроить metricbeat для чтения из Kafka и вывода в Elastic Search?

Answer 1

Metricbeat собирает метрики не только на системном уровне, но и от служб, работающих в этой системе.Вот список модулей сбора метрик, включенных в Metricbeat.Список охватывает множество сервисов и платформ, включая Kafka.

Что касается вопроса о том, как читать тему Kafka в Elasticsearch, очевидными способами являются использование logstash или Kafka Connect.Для Elasticsearch поддерживается поддерживаемый сливной разъем .

Нет поддерживаемого ритма для чтения непосредственно из темы Kafka.Но после некоторого исследования я нашел одно, разработанное JustSocialLabs .Я не пробовал это.Мой опыт использования Logstash и Kafka connect был достаточным.Но вы можете дать ему шанс, если хотите.