Как обработать и пометить данные журнала перед их отображением в Kibana, используя filebeat для пересылки logstash - PullRequest
0 голосов
/ 18 октября 2018

Я пытаюсь выучить ELK.Я установил Filebeat на одном хосте, который пересылает журналы в logstash на каком-то другом сервере, который пересылает журналы наasticsearch.

Журналами, которые пересылаются с помощью filebeat, являются / var / log / messages и / var / log /sa / * /var/log/*.log, /var/log/sample/access.log

Когда я вижу сообщения в kibana, источником является имя файла, откуда поступают журналыно все сообщение приходит в виде одного «сообщения», однако я хочу отобразить все данные журнала, хранящиеся в отдельной метке, как в журналах доступа, мы получаем много полей, таких как: IP-адрес источника, код ответа, время, потраченное, размер в байтах и ​​т. д., поэтому каждый должен получить метку с различным именем переменной, чтобы было легко сгенерировать граф с графиком timelion

Есть ли в Кибане способ, подобный splunk, где я использую регулярное выражение для любого полязначение и создать переменную с данными из него, а затем использовать переменную для создания графика?

Заранее спасибо за ответ.

Спасибо заr ответить

Редактировать: я попробовал приведенный ниже шаблон для sar load avg

filter {
if [source] == "sarLoadLog.log" {
      grok {
        match => { "message" => %{GREEDYDATA:time_12} %{NUMBER:runqsz} %{NUMBER:plistsz} %{NUMBER:ldavg1} %{NUMBER:ldavg5} %{NUMBER:ldavg15} %{NUMBER:blocked} }
      }
    }
}

, но он не работает, я попробовал отладчик grok и он там работает

Ниже приведеноданные для этого

05:36:01 PM         3       300      0.00      0.02      0.05         0

1 Ответ

0 голосов
/ 18 октября 2018

Вы можете достичь желаемого результата, используя logstash, поскольку вы уже настроили его в настройках.

Вам необходимо настроить подключаемые модули фильтра в logstash для анализа журналов по отдельным полям, чтобы иметь возможность агрегировать и визуализировать их.поля.Пожалуйста, смотрите ниже ссылку, чтобы начать:

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

В частности, посмотрите на плагин фильтра ниже

https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html

...