Suricata to Filebeat to Kafka, маршрутизация к темам по типу события - PullRequest
Новая
       42

Suricata to Filebeat to Kafka, маршрутизация к темам по типу события

0 голосов
/ 15 января 2020

Я обнаружил Filebeat пару дней go. Он отправляет данные непосредственно в Kafka, если я жестко закодирую имя topi c в filebeat.yml. Но я не могу понять, как динамически вычислять имя topi c на основе типа события suricata. Я включил модуль surbeata filebeat и попробовал несколько вещей в значении filebeat.yml topi c, например: 

topic: 'suricata-%{[fields.suricata.eve.event_type]}'

Но я всегда получаю эту ошибку в журнале: 

2020-01-14T23:44:49.550Z        INFO    kafka/log.go:53 kafka message: Initializing new client
2020-01-14T23:44:49.551Z        INFO    kafka/log.go:53 kafka message: Successfully initialized new client
2020-01-14T23:44:49.551Z        INFO    pipeline/output.go:105  Connection to kafka(somehost:9092) established
2020-01-14T23:44:49.551Z        ERROR   kafka/client.go:144     Dropping event: no topic could be selected
2020-01-14T23:44:49.551Z        ERROR   kafka/client.go:144     Dropping event: no topic could be selected
2020-01-14T23:44:49.551Z        ERROR   kafka/client.go:144     Dropping event: no topic could be selected

Как ты это делаешь? Какие-нибудь примеры файлов filebeat.yml по этому маршруту на разные темы основаны на типе события suricata?

1 Ответ

0 голосов
/ 16 января 2020

Если на земле заинтересовался другой человек, я получил ответ, который работает здесь:

https://discuss.elastic.co/t/suricata-logs-to-filebeat-to-kafka-topics-by-event-type/215179

topic: 'suricata-%{[suricata.eve.event_type]}'
...