CloudWatch Мониторинг и Уведомления

Question

Я использую различные сервисы AWS (Lambda, Glue, S3, Redshift, EC2) для обработки ETL. Я пытаюсь создать «поток ETL журнала», чтобы отслеживать и отправлять уведомления (по электронной почте или иным способом), когда в процессе происходит сбой шага.

Я проверил, что у каждой службы, которую я использую, есть метрики, зарегистрированные в CloudWatch. Сейчас я пытаюсь найти разумный способ обработки этих данных для отправки уведомлений в случае сбоя шага и / или централизованного мониторинга всего потока.

Существуют ли передовые практики или примерыэта настройка?

Answer 1

Кажется, это идеальный случай для CloudWatch Alarms .

Вы можете создать CloudWatch Alarm, который просматривает одну метрику CloudWatch или результат математического выражения на основепо метрикам CloudWatch. Тревога выполняет одно или несколько действий на основе значения метрики или выражения относительно порогового значения в течение ряда периодов времени. Действие может быть действием Amazon EC2, действием автоматического масштабирования Amazon EC2 или уведомлением, отправленным в тему Amazon SNS.

Можно создать цепочку CloudWatch Alarm -> SNS * 1010. *

Вы можете использовать SNS для уведомления пользователей через SMS или Push-уведомления .
Или вы можете сделать еще один шаг SNS -> SES для доставки электронной почты.