ElasticSearch FileBeat или LogSta sh SysLog рекомендации по вводу - PullRequest
Новая
       5

ElasticSearch FileBeat или LogSta sh SysLog рекомендации по вводу

0 голосов
/ 08 января 2020

Я планирую получать данные SysLog от различных сетевых устройств, на которые я не могу напрямую установить биты, и пытаюсь найти лучший способ go об этом. Я знаю, что Beats используется больше и вижу, что он поддерживает получение данных SysLog, но не нашел диаграмму или объяснение того, какая конфигурация будет лучшей практикой для продвижения вперед. FileBeat выглядит привлекательно благодаря модулям Cisco, которыми являются некоторые сетевые устройства. Чтобы разобраться с простейшими вопросами, должна ли конфигурация быть одной из следующих или какой-либо другой модели?

  • Сетевое устройство> LogSta sh> Elasti c
  • Сеть Устройство> LogSta sh> FileBeat> Elasti c
  • Сетевое устройство> FileBeat> Elasti c
  • Сетевое устройство> FileBeat> LogSta sh> Elasti c

Мы хотим, чтобы сетевые данные поступали в Elasti c, конечно, но есть и другие внешние применения, которые мы также рассматриваем, например, возможная отправка данных SysLog в отдельное решение SIEM , Я знаю, что мы могли бы настроить LogSta sh для вывода в SIEM, но можете ли вы вывести из FileBeat таким же образом или это будет причиной для окончательной отправки в LogSta sh в какой-то момент?

Спасибо заранее!

1 Ответ

1 голос
/ 08 января 2020

Наша SIEM основана на elasti c, и мы попробовали несколько подходов, которые вы также описываете. В конце мы используем Beats AND Logsta sh между устройствами иasticsearch. Вот почему: наша инфраструктура большая, сложная и разнородная. Входные данные системного журнала Filebeat поддерживают только событие BSD (rfc3164) и некоторые варианты. Использование упомянутых парсеров cisco также исключает много. Остатки, все еще неразобранные события (в нашем случае их много) затем обрабатываются Logsta sh с использованием фильтра syslog_pri. И, наконец, для всех событий, которые еще не разобраны, у нас есть GROK.

Помимо формата системного журнала существуют и другие проблемы: временная метка и источник события. В некоторых событиях отсутствует информация о часовом поясе, и имя хоста / ip сопоставляется с указанным c часовым поясом, фиксируя смещения отметки времени. Другие события имеют очень точный c формат даты / времени (logsta sh заботится). Другие события содержат ip, но не имя хоста. В этом случае мы используем dns-фильтр в logsta sh, чтобы улучшить качество (и масштабируемость) сообщений.

По моему мнению, вы должны попытаться как можно больше предварительно обработать / проанализировать в filebeat и logsta sh впоследствии. Без logsta sh в ритме эластичного поиска и процессорах в тактах есть входные конвейеры, но оба они не являются полными и мощными, как logsta sh. И если у вас уже есть logsta sh, то будет только новый конвейер системного журнала;)

Edit :

Наконец-то есть ваша SIEM. С Beats ваши параметры вывода и форматы очень ограничены. Filebeat также ограничивает вас одним выходом. В Logsta sh вы можете даже разделять / клонировать события и отправлять их по разным адресатам, используя другой протокол и формат сообщения.

...