Как сгруппировать журналы в Kibana / Logstash?

Question

У нас есть настройка ELK, и Logstash получает все журналы из Filebeat, установленного на сервере.Поэтому, когда я открываю Kibana и он запрашивает индекс, я просто ставлю * для значения индекса и перехожу на вкладку Discover, чтобы проверить журналы, и каждая строка журнала отображается в отдельном расширяемом разделе.

Я хочу иметь возможность группировать журналы сначала по временной метке, а затем по общему идентификатору, который генерируется в наших журналах для каждого запроса, чтобы идентифицировать его по остальным.Пример журналов, которые мы получаем:

DEBUG [2018-11-23 11:28:22,847][298b364850d8] Some information
INFO  [2018-11-23 11:27:33,152][298b364850d8] Some information
INFO  [2018-11-24 11:31:20,407][b66a88287eeb] Some information
DEBUG [2018-11-23 11:31:20,407][b66a88287eeb] Some information

Я хотел бы видеть все журналы для идентификатора запроса: 298b364850d8 в одном и том же раскрывающемся списке, поскольку они являются непрерывными журналами.Затем он может снова попасть во второй выпадающий список, сгруппированный по идентификатору запроса: b66a88287eeb в порядке отметки времени.

Возможно ли это вообще или я слишком многого ожидаю от инструмента?

ИЛИ, если есть лучшая стратегия группировки журналов, я более чем рад выслушать предложения.

Мой друг сказал мне, что я могу настроить это в logstash для группировки журналов на основе некоторого регулярного выражения n, но я просто не знаю, где и как настроить его для группировки.

Я совершенно новичок во всем стеке ELK, чтобы отвечать на мои вопросы, которые могут быть довольно элементарными по своей природе.

Answer 1

Вы можете использовать фильтр @timeStamp и поисковый запрос, как показано ниже для примера изображения, чтобы отфильтровать то, что вы хотите.

Answer 2

Ваш вопрос действительно немного расплывчатый и широкий, как вы говорите.Однако я постараюсь помочь:)

1. Проверьте индекс, который вы определили в logstash output .Это индекс, который нужно определить Kibana, а не *.
2. Создать шаблон индекса для подключения к Elasticsearch .Это проанализирует поля журналов и позволит вам фильтровать, как вы хотите.
3. Рекомендуется использовать инструмент с графическим интерфейсом (например, Cerebro ), чтобы лучше понять, что происходит в вашей ES,Это также поможет вам лучше понять, какие индексы у вас есть.

Удачи