Как рассчитать стоимость (счет) для Google Cloud Genomics Pipeline

Question

Я использую Cromwell engine в Google Cloud, который отправляет запросы на запуск конвейера: https://cloud.google.com/genomics/reference/rest/v1alpha2/pipelines/run.

После завершения конвейеров я могу найти Google Cloudоперации, связанные с каждым конвейером через метки.Однако я не могу определить их стоимость.В журналах счетов Google Cloud перечислены только счета вычислительного движка, но они не показывают связь между экземплярами вычислительного движка и операциями геномики, поэтому я не могу понять, как рассчитать стоимость.

Какможно рассчитать стоимость конвейера Google Cloud Genomics

Answer 1

Оказывается, что если вы запускаете конвейер с правильным указанным labels (объяснено здесь в документации API ), вы можете отфильтровать журналы выставления счетов, используя эти метки.В моем случае двигатель Cromwell делал это автоматически для меня, поэтому мне не нужно было делать ничего лишнего.

Когда вы хотите проанализировать счета, у вас есть до экспортировать данные в BigQuery , вы не можете экспортировать данные в файл , потому что это не даст вам обязательных полей.

После загрузки счетов в BigQuery(у меня заняло около 4-5 часов), вы можете выполнить следующий запрос:

SELECT SUM(cost)
FROM `PipelineBilling.gcp_billing_export_v1_BILLING_ACCOUNT_ID`, UNNEST(labels) as l
WHERE l.key = 'cromwell-workflow-id' AND l.value = 'cromwell-MY-WORKFLOW-ID'

Это вернет одно число, которое является общей стоимостью конвейера с меткой под названием cromwell-workflow-id, сзначение cromwell-MY-WORKFLOW-ID (однако этот ярлык будет другим, если вы не используете Cromwell).