Sumarize AWS CloudWatch Журналы данных - PullRequest
Новая
       10

Sumarize AWS CloudWatch Журналы данных

0 голосов
/ 18 октября 2018

У меня есть группа журналов в CloudWatch с некоторыми LogStreams, которые имеют события в формате JSON.

Что-то вроде: 

{ "dimension1": "foo", "dimension2": "bar", "metric1": 12, "metric2": 20 }
{ "dimension1": "anything", "dimension2": "other", "metric1": 20, "metric2": 12 }
{ "dimension1": "foo", "dimension2": "other", "metric1": 10, "metric2": 12 }
...
{ "dimension1": "foo", "dimension2": "other", "metric1": 12, "metric2": 20 }

Я должен суммировать эти события, вычисляя их средние значения, числа исуммирует некоторые наборы измерений через определенные временные окна и записывает их везде, где я могу легко их прочитать (S3 или что-то в этом роде).

Я ожидаю получить такой результат, как: 

{ "dimension1": "foo", "dimension2": "other": "metric1_count": 2, "metric1_avg": 11, "metric1_min": 10, "metric1_max": 12 }
...
{ "dimension1": "foo", "dimension2": "bar": "metric1_count": 1, "metric1_avg": 12, "metric1_min": 12, "metric1_max": 12 }

Я знаю, как это сделать, читая данные с помощью CloudWatch Logs API, консолидируя с помощью Redis в качестве промежуточного хранилища или даже сохраняя данные в памяти при его консолидации, и в конце концов записывая сводки в S3, но я хотел бы знать,если можно достичь того же результата, используя любой сервис AWS, пишущий меньше кода и поддерживающий решение проще, чем создание лямбды или чего-то подобного.

...