История запросов BigQuery: получить счетчики / метрики производительности

Question

Каковы лучшие практики для получения исторических показателей запросов.Предположим, что было 3 пользователя, они выполнили 3, 4, 5 запросов соответственно в течение дня (через JDBC / ODBC).Как я могу получить список этих запросов вместе с другой информацией метаданных, например.цена, отсканированный объем данных, слоты, время начала / окончания, возвращенные строки и т. д. *

Могу ли я также получить план объяснения / выполнения эквивалент для этих запросов?

Iгде-то видел, что я мог попытаться использовать CLI:

• Список всех заданий запроса: bq ls -j -q
• Получение данных для конкретного задания: bq show --format=prettyjson -j <Job ID>

или, может быть, API мог бы дать мне больше информации?

но, в конечном счете, что является лучшим / рекомендуемым методом здесь?

Например, в AWS RedShift я могу использовать представления / мета-таблицы, такие как STL_QUERY, STL_QUERYTEXT, STL_CONNECTION_LOG, SVL_QUERY_SUMMARY просмотр и т. Д. Мне интересно, существует ли аналогичный механизм для использования SQL для доступа к и фильтрации этой информации?

Answer 1

... или API может дать мне больше информации?

Вы можете использовать Задания: список и Задания: получить , чтобы соответственно отобразить список заданий, запущенных в указанном проекте, и вернуть информацию о конкретном задании.

Если вызов Jobs.get успешен, этот метод возвращает ресурс Jobs в теле ответа, где вы можете найти все детали, упомянутые в вашем вопросе

Answer 2

Вы можете использовать BigQuery webUI для извлечения всей информации, помните, что существует ограничение в 1000 записей, НО это дает вам элегантный способ, похожий на параметр AWS.

Вот как вы устанавливаете опцию просмотра ВСЕХ заданий ваших пользователей:

И с помощью окна поиска вы можете применить фильтры к вашему поиску

Нажав на стрелку справа, вы получите несколько дополнительных параметров: