что такое утилита для использования apache kafka с logstash?

Question

Я с нетерпением жду сбора в реальном времени потока журналов от определенного веб-приложения, чтобы получить представление о производительности моей инфраструктуры. в качестве инструментов я буду использовать Elk, а не Splunk, из-за некоторых статей они настоятельно рекомендуют использовать Kafka с logstash, но до сих пор я не знаю, как это происходит. На самом деле, моя основная цель - установить базовые модули для приложения так, Я должен получить ответ.

Answer 1

Чтобы упростить это развертывание, серверная часть веб-сервера могла войти непосредственно в Kafka.

Если у вас есть файлы журналов, вы можете использовать Filebeat или вывод Fluentd Kafka вместо Logstash.

Logstash по сути будет агрегатором, который может выполнять действия между inputs -> filters -> outputs

Кафка - это опция в качестве вывода , а не только Elasticsearch.

Проблема, которую я вижу с Logstash + Filebeat, заключается в том, что вы должны перезапустить все процессы и конфигурации, чтобы добавить источник входных событий, аналогичный SplunkForwarder, и вы не можете легко настроить уникальные темы для каждого ввода без какой-либо сумасшедшей логики тегирования в конфигурации Logstash. , Я думаю, что более масштабируемое решение будет иметь источник данных, определяющий, в какую тему Kafka он записывает.

Основная причина, по которой рекомендовался Кафка, была до Постоянные очереди