Как узнать ресурс CPU / RAM, используемый в GCP BigQuery для каждого успешного запроса, и информацию о стоимости

Question

Хотя здесь уже задавался тот же вопрос, но принятого ответа не видно: Использование ОЗУ и ЦП GCE в BigQuery

Вопрос простой, для каждого успешного запроса, выполненного в BigQuery , как узнать, сколько вычислительных ресурсов было израсходовано? сколько ядер процессора, оперативной памяти было использовано? А как был обработан запрос?

Ниже приведен пример выполнения задания в GCP:

Спасибо.

[Обновление]

Некоторые SOERS предложили dry-run, я пробовал

bq query "SELECT COUNT(1) as rowcount, COUNTIF(corpus = 'hamlet') as rowcount_hamlet FROM publicdata.samples.shakespeare order by rowcount_hamlet desc" --dry-run=true 

bq query "SELECT COUNT(1) as rowcount, COUNTIF(corpus = 'hamlet') as rowcount_hamlet FROM publicdata.samples.shakespeare order by rowcount_hamlet desc" dry-run=true 

Оба не работают для меня. Кто-нибудь может посоветовать правильный формат, пожалуйста?

Answer 1

Чтобы оценить ваши запросы перед их выполнением , вы должны использовать флаг --dry_run в CLI и параметр dryRun в конфигурации задания при использовании API или клиентских библиотек, а затем использовать Калькулятор цен Google Cloud Platform для оценки стоимости. Вот пример запроса из документации:

bq query \
--use_legacy_sql=false \
--dry_run \
'SELECT
   COUNTRY,
   AIRPORT,
   IATA
 FROM
   `project_id`.dataset.airports
 LIMIT
   1000'

Я предлагаю вам ознакомиться с рекомендациями BigQuery для контроля затрат.

Answer 2

Это похоже на скриншот метрики Cloud Dataflow, а не BigQuery. BigQuery - полностью управляемый сервис. Это означает, что вся инфраструктура, выполняющая ваши запросы, в значительной степени удалена от вас. Однако вы можете проанализировать число slots, использованное для каждого запроса, и план выполнения запроса , чтобы получить представление о том, какие ресурсы os используются для выполнения ваших запросов. Вам нужно углубиться в [slot][2] метри c. Из памяти слот занимает примерно половину ядра процессора и около 1 ГБ оперативной памяти.