Соединитель системного журнала - источник CEF - PullRequest
Новая
       62

Соединитель системного журнала - источник CEF

0 голосов
/ 25 марта 2020

Попытка найти пример того, как настроить коннектор системного журнала Confluent для приема данных в формате CEF. У меня подключен и работает соединитель системного журнала, но, видя ошибки такого рода в файле connect.log, я никогда не попаду в топи c: 

[2020-03-24 23:56:09,181] WARN decode() - Could not parse message. request = 'SyslogRequest{receivedDate=2020-03-24T23:56:09.181, remoteAddress=/<some ip>, rawMessage=Wed Mar 25 00:31:30 2020 1/1/e1 CEF:0|Gigamon|metadata|unknown|4|metadata generation|6|GigamonMdataDeltaBytesRcvd=40 GigamonMdataDeltaPKtsRcvd=1 GigamonMdataFlowStartSysUpTime=264840090 GigamonMdataFlowEndSysUpTime=264840090 proto=6 src=<some ip> dst=<some ip> spt=34846 dpt=9997 }' (io.confluent.connect.syslog.message.SyslogMessageParsingHandler)

Я настраиваю соединитель через REST следующим образом: 

curl localhost:8083/connectors -X POST -H "Content-Type: application/json" -d '{"name": "connect-syslog-netflow","config": { "connector.class": "io.confluent.connect.syslog.SyslogSourceConnector", "tasks.max": "1", "topics":"syslog-netflow","syslog.port": "2055","confluent.topic.bootstrap.servers": "localhost:9092", "confluent.topic.replication.factor": "1", "type": "CEF" } }'

Тип CEF был слабой попыткой сообщить ему входящий формат.

Запуск 5.0.1 слияния дистрибутивов, один узел dev кластера.

1 Ответ

0 голосов
/ 31 марта 2020

Итак, после работы с конфлуентной поддержкой мы определили проблему: 

rawMessage=Wed Mar 25 00:31:30 2020 ...

Работает, изменив эту дату на: 

rawMessage=Mar 25 00:31:30 ...

Снятие дня недели и года.

К сожалению, я не контролирую источник сетевого потока, поэтому я предполагаю, что мне понадобится какое-то пользовательское преобразование данных перед отправкой на соединитель.

...