Как проверить количество используемых кластеров Dataproc в любой момент времени в Google Cloud Platform?

Question

Как проверить количество кластеров Dataproc, используемых в любой момент времени в Google Cloud Platform?Если да, нам нужен способ визуализировать это и в GCP.

Answer 1

Ваш комментарий к предыдущему ответу our requirement to get the list of specific clusters which are in running state but they are not being used from quite some time заставляет меня думать, что ваша конечная цель - удалить неиспользуемые кластеры.Один из способов автоматизировать это - использовать функцию запланированного удаления [1], которая может автоматически удалять неиспользуемые кластеры после периода бездействия.

gcloud beta dataproc clusters create ... --max-idle=2d

[1] https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/scheduled-deletion

Answer 2

Вы можете перечислить все Cloud Dataproc в проекте с помощью gcloud dataproc clusters list.Эта команда также может фильтровать кластеры по статусу, метке и т. Д. Для вашего случая отфильтрованная команда должна выглядеть следующим образом:

$ gcloud dataproc clusters list \
    --filter='status.state = RUNNING'

Вы также можете перечислить все кластеры в проекте и определенном регионе. с API Dataproc .Метод projects.regions.clusters.list также принимает фильтры.В документации, которую я связал для метода API, есть список доступных фильтров, команда gcloud также использует те же фильтры.

Для других параметров мониторинга, проверьте Мониторинг Stackdriver для Cloud Dataproc