Проверьте количество слотов, используемых запросом в BigQuery

Question

Есть ли способ проверить, сколько слотов было использовано запросом за период его выполнения в BigQuery? Я проверил план выполнения, но я мог просто увидеть время слота в мс, но не смог увидеть ни один параметр или график, чтобы показать количество слотов, использованных за период выполнения. Я даже пытался посмотреть на Stackdriver Monitoring, но не смог найти ничего подобного. Пожалуйста, дайте мне знать, если это можно рассчитать каким-то образом или я могу видеть это где-то, я мог пропустить видеть.

Answer 1

BigQuery теперь предоставляет ключ в JSON API Jobs, который называется «временная шкала». Эта структура предоставляет «statistics.query.timeline []. CompleteUnits», которую вы можете получить во время выполнения задания или после него. Если вы решите извлекать эту информацию после выполнения задания, «completeUnits» будет кумулятивной суммой всех единиц работы (слотов), использованных во время выполнения запроса.

Вопрос может состоять из двух частей: (1) Общее количество используемых слотов (единиц выполненной работы) или (2) Максимальное параллельное количество единиц, используемых в момент времени запросом.

Для (1) ответ такой же, как и выше, который дается "completeUnits".
Для (2) может потребоваться учитывать максимальное значение queryPlan.parallelInputs на всех этапах запроса, которое будет указывать максимальное «количество распараллеливаемых единиц работы для этапа» (https://cloud.google.com/bigquery/query-plan-explanation)

Если после этого вы дополнительно захотите узнать, достаточно ли 2000 параллельных слотов, выделенных вам для всего проекта запроса по требованию, вам нужно будет найти момент времени для всех запросов, выполняемых в вашем проект, в котором количество используемых слотов максимально. Это не тривиальная задача, но мониторинг Stackdriver обеспечивает наиболее ясное представление об этом.

Answer 2

Задание BigQuery будет сообщать общее количество слотов в миллисекундах из расширенной статистики запросов в метаданных задания, что аналогично вычислительным затратам. Каждый этап плана запроса также указывает входную статистику для этапа, который можно использовать для указания количества единиц работы, отправленных каждым этапом.

Подробнее о представлении можно найти в справочнике REST для заданий. См. query.statistics.totalSlotMs и statistics.query.queryPlan[].parallelInputs для получения дополнительной информации.