Может ли filebeat передавать одни данные в логста sh и кафак？

Question

Я хочу использовать filebeat, отправить один журнал в logsta sh и kafak, затем logsta sh отправить журнал в es, и я могу искать его в es, kafak использует его для анализа данных.

filebeat.yml

output.logstash:
  hosts: ["172.31.29.xxx:5044"]
output.kafka:
    enabled: true
    hosts: ["xxx"]
    topic: "test-log"

Не работает, есть ли способ сделать?

Answer 1

Вы не можете, filebeat поддерживает только один вывод.

У вас есть два способа делать то, что вы хотите.

1. Отправляйте свои журналы только в Kafka и настраивайте logsta sh для чтения из этого Kafka topi c, а затем для отправки в elasticsearch.
2. Отправьте ваши журналы в logsta sh и получите logsta sh вывод как в Kafka, так и в elasticsearch.

С первым вариантом вы получите необработанное событие в Kafka и используете logsta sh для чтения из него и при необходимости примените некоторые фильтры, со вторым вариантом вам нужно будет клонировать каждое событие, если вы хотите применить некоторые фильтры. и по-прежнему отправлять необработанное событие в kafka.