У меня сейчас проблема со структурой с logstash.
У меня есть клиент syslog-ng, отправляющий журналы из разных файлов по сети в стек ELK.
Я заметил, что Logstash смешивает журналы, особенно многострочные, с добавлением строк исключений в журналы без ошибок из других файлов. Итак, я думаю, проблема в том, что мои журналы обрабатываются без каких-либо различий от их происхождения файлов. Я нашел 2 способа избежать этого, но они не являются оптимальными IMO:
- Вместо использования syslog-ng, используйте FileBeat и добавьте тег для каждого файла, который идентифицирует их происхождение. Затем проанализируйте мой журнал с Logstash в зависимости от этого тега. Проблема в том, что использование syslog-ng в качестве клиента является обязательным требованием, и оно будет беспокоить меня, если мне придется изменить его
- Измените мои syslog-ng souces для отправки каждого файла журнала на другой порт на ELK. Я обнаружил, что немного грязный и может быть неловко с большим количеством файлов журнала
Что вы думаете об этом? Я пропустил лучшее решение?
Есть ли способ добавить тег как filebeat в syslog-ng?
Спасибо за помощь