Как создать показатель простоя / времени безотказной работы для кластера Dataproc с помощью стека-драйвера

Question

Я хотел бы создать показатель простоя или времени безотказной работы для всех кластеров dataproc, которые я запускаю, и из того, что я видел в stackdriver, я не смог этого сделать.Мой сценарий состоит в том, что у меня есть временные задания для обработки данных, которые выполняются ежедневно, и после их выполнения я удаляю кластер.Я хотел бы создать оповещение по электронной почте, если существуют незанятые кластеры dataproc, которые ничего не делают в течение часа, или время работы кластера dataproc превышает 24 (или даже 20) часов.

Спасибо.

Answer 1

В вашем вопросе есть 3 пункта, на которые я бы хотел обратиться отдельно:

1. Об оповещении о неактивной метрике: Dataproc не предоставляет такой метрики, и я подам запрос на добавление функциидля нас, чтобы добавить один.В то же время вы можете приблизить время простоя, обнаружив, когда этот показатель: dataproc.googleapis.com/cluster/yarn/containers понижается до 0 в течение часа или около того.

2. Относительно того, что кластер простаивает в течение часа или жив для24 часа.Это можно автоматизировать с помощью Dataproc с помощью функции Scheduled Deletion : gcloud beta dataproc clusters create ... --max-age=24h --max-idle=1h

3. О ежедневных заданиях.Я думаю, что здесь вы можете полностью обойти вопросы № 1 и № 2 и использовать Шаблоны рабочих процессов для управления созданием кластера, разбором и выполнением задания.Если ваша автоматизация осуществляется через клиентов Api или вам необходимо передавать разные параметры при каждом вызове, то метод InstantiateInline поможет вам