Amazon Cloudwatch Logs Insights с полями JSON

Question

Я пытаюсь использовать Logs Insights с данными, содержащими JSON в одном из полей, и для анализа полей JSON

Мои данные выглядят следующим образом, когда я анализирую их с помощью начального кода

fields @timestamp, @message
| sort @timestamp desc
| limit 25

Как мне легко извлечь переменную path в моем вложенном JSON для выполнения агрегации на нем?Просматривая некоторую документацию, я подумал, что @message.path будет работать, но это не так.Кто-нибудь успешно интерпретировал журналы JSON в Insights

РЕДАКТИРОВАТЬ: Пример того, как мои данные выглядят

#
@timestamp
@message
1
2018-12-19 23:42:52.000
I, [2018-12-19T23:42:52.629855 #23447] INFO -- : [2ce588f1-c27d-4a55-ac05-62a75b39e762] {"method":"GET","path":"/api/v1/professionals/ID","format":"json","controller":"API::V1::Public::ProfessionalsController","action":"show","status":200,"duration":285.27,"view":222.36,"time":"2018-12-19T23:42:52.344+00:00","params":{"include":"user,tags,promotions,company_sector,similar_professionals.tags,similar_professionals.user","format":"json","compress":false,"id":"ID"},"@timestamp":"2018-12-19T23:42:52.629Z","@version":"1","message":"[200] GET /api/v1/professionals/ID (API::V1::Public::ProfessionalsController#show)"}
@logStream  i-05d1d61ab853517a0
@message  I, [2018-12-19T23:42:52.629855 #23447] INFO -- : [2ce588f1-c27d-4a55-ac05-62a75b39e762] {"method":"GET","path":"/api/v1/professionals/ID","format":"json","controller":"API::V1::Public::ProfessionalsController","action":"show","status":200,"duration":285.27,"view":222.36,"time":"2018-12-19T23:42:52.344+00:00","params":{"include":"xxx","format":"json","compress":false,"id":"ID"},"@timestamp":"2018-12-19T23:42:52.629Z","@version":"1","message":"[200] GET /api/v1/professionals/ID (API::V1::Public::ProfessionalsController#show)"}
@timestamp  1545262972000
2
2018-12-19 23:42:16.000
I, [2018-12-19T23:42:16.723472 #851] INFO -- : [ea712503-eb86-4a6e-ab38-ddbcd6c2b4d0] {"method":"GET","path":"/api/v1/heartbeats/new","format":"json","controller":"API::V1::Public::HeartbeatsController","action":"new","status":201,"duration":9.97,"view":3.2,"time":"2018-12-19T23:42:16.712+00:00","params":{"format":"json","compress":false},"@timestamp":"2018-12-19T23:42:16.722Z","@version":"1","message":"[201] GET /api/v1/heartbeats/new (API::V1::Public::HeartbeatsController#new)"}

Answer 1

Поможет ли вам этот запрос регулярного выражения в команде разбора?

filter @message like / \"path\":\"/
| parse @message /(?<@endpt>((\/[a-zA-Z0-9_{}()-?]+){1,}))/

Удачи!

Answer 2

CloudWatch Insights Logs автоматически обнаруживает поля для следующих типов журналов:

Лямбда-журналы

CloudWatch Logs Insights автоматически обнаруживает поля журнала в лямбда-журналах, , но только дляпервый встроенный JSON-фрагмент в каждое событие журнала (Примечание: выделено мое).Если событие Lambda log содержит несколько фрагментов JSON, вы можете проанализировать и извлечь поля журнала, используя команду parse.Для получения дополнительной информации см. Поля в журналах JSON.

Журналы CloudTrail

См. поля в журналах JSON .

Источник: Поддерживаемые журналы и обнаруженные поля

Если @message равно I, [2018-12-11T13:20:27] INFO -- : {"method":"GET"}

Тогда вы можете выбрать и отфильтровать поля следующим образом:

fields @timestamp, @message, method
| filter method = "GET"
| sort @timestamp desc

Работает и с вложенными полями, например params.format = "json" или results.0.firstName = "Paul".

Answer 3

Опираясь на @ pyb insights , я смог использовать parse @message '"path":"*"' as path для извлечения пути из любого места в @message.

Вы можете продолжить свой метод, отправив еще один parse @message '"method":"*"' as method, не беспокоясь о заказе, поскольку это второй глобальный поиск в простом тексте на @message

В случае, когда ваш @message is:

I, [2018-12-19T23:42:52.629855 #23447] INFO -- : [2ce588f1-c27d-4a55-ac05-62a75b39e762] {"method":"GET","path":"/api/v1/professionals/ID","format":"json","controller":"API::V1::Public::ProfessionalsController","action":"show","status":200,"duration":285.27,"view":222.36,"time":"2018-12-19T23:42:52.344+00:00","params":{"include":"xxx","format":"json","compress":false,"id":"ID"},"@timestamp":"2018-12-19T23:42:52.629Z","@version":"1","message":"[200] GET /api/v1/professionals/ID (API::V1::Public::ProfessionalsController#show)"}

Использование:

parse @message '"path":"*"' as path | parse @message '"method":"*"' as method

приведет к полям: path = '/api/v1/professionals/ID' и method = 'GET'

Обратите внимание, что это все еще просто парсинг строкии как таковой, он не имеет понятия о вложенных ключах, например, params.format не найдет json, однако, с использованием просто format будет, если в вашем @message нет ни одной строки format.

Также обратите внимание, что это случай, когда Insights не обнаруживает ваш JSON в сообщении.Я полагаю, что это тот случай, когда @pyb имел в виду этот ответ .Мои журналы также не обнаруживаются в следующем формате

info - Request: {"method":"POST","path":"/auth/login/","body":{"login":{"email":"email@example.com","password":"********"}},"uuid":"36d76df2-aec4-4549-8b73-f237e8f14e23","ip":"*.*.*.*"}

Answer 4

Вы можете использовать команду parse для извлечения полей.

Если @message равно

I, [2018-12-11T13:20:27] INFO -- : {"method":"GET"}

Затем вы извлекаете поля следующим образом:

fields @timestamp, @message
| parse "I, [*T*] INFO -- : {"method":"*"}" as @date, @time, @method
| filter method=GET
| sort @timestamp desc
| limit 20

Документация пока довольно легкая.Я могу получить результаты, заменив подстановочный знак * регулярным выражением, но затем синтаксический анализ не выполняется.