Как мы можем визуализировать статус задания Dataproc в Google Cloud Plarform?

Question

Как мы можем визуализировать (через панели мониторинга) статус задания Dataproc в Google Cloud Platform?

Мы хотим проверить, выполняются ли задания или нет, в дополнение к их статусу, например, запущен, задержан, заблокирован. Кроме того, мы хотим установить оповещение (Stackdriver Alerting).

Answer 1

На этой странице у вас есть все метрики, доступные в Stackdriver

https://cloud.google.com/monitoring/api/metrics_gcp#gcp-dataproc

Вы можете использовать cluster/job/submitted_count, cluster/job/failed_count и cluster/job/running_count для создания панели мониторинга и метрик

Кроме того, вы можете использовать cluster/job/completion_time для предупреждения о длительных заданиях и cluster/job/duration, чтобы проверить, не заданы ли задания в статусе PENDING в течение длительного времени.