Облачные часы AWS с использованием CLI для EMR - PullRequest
Новая
       29

Облачные часы AWS с использованием CLI для EMR

0 голосов
/ 31 мая 2019

Как написать тревогу Cloudwatch для EMR с помощью команды CLI ??

Мое требование - завершить кластер, который простаивает более 2 часов.Мне нужно сделать это с помощью команды CLI aws.

1 Ответ

0 голосов
/ 31 мая 2019

С Отслеживание показателей с помощью CloudWatch - Amazon EMR :

Метрика IsIdle отслеживает, является ли кластер активным, но не выполняющимися в данный момент задачами. Вы можете установить срабатывание будильника, когда кластер не используется в течение определенного периода времени, например, тридцати минут.

Таким образом, вы можете настроить сигнализацию для этой метрики. Однако сама сигнализация не может завершить кластер Amazon EMR. Вам потребуется дополнительный компонент, такой как функция AWS Lambda, для фактического завершения кластера.

Компоненты будут:

  • Amazon CloudWatch IsIdle метрика (предоставляется автоматически)
  • Авария в метрике, которая срабатывает, когда кластер простаивает дольше, чем требуемый период
  • Настройка будильника для отправки сообщения в тему Amazon SNS
  • Создайте функцию AWS Lambda и подпишите функцию на тему SNS
  • Код лямбда-функции прекратить кластер Amazon EMR

Существует более сложная версия этого процесса автоматического выключения, задокументированная по адресу: Оптимизация затрат Amazon EMR с помощью проверок простоя и автоматического завершения ресурсов с использованием расширенных метрик Amazon CloudWatch и AWS Lambda | Блог больших данных AWS

...