Как получить данные об использовании о том, какие представления и наборы данных используются / запрашиваются в BigQuery?

Question

Мне нужны данные об использовании набора данных и представлений в BigQuery. Я хочу подсчитать, сколько запросов было выполнено для всех различных наборов данных и представлений. Моя цель - понять, какие наборы данных и представления используются в настоящее время.

Я посмотрел в журнале аудита, однако я не могу экспортировать все записи в Excel для анализа. Я могу экспортировать не более 300 записей за определенный день. Есть ли способ выполнить запрос в BigQuery, который даст мне эти данные вместо экспорта из журнала аудита?

Answer 1

Да - вы можете настроить экспортный «приемник» в Stackdriver для передачи данных в BigQuery для анализа.Они также предоставляют документацию о том, как поля полезной нагрузки преобразуются при экспорте.

Первая ссылка содержит некоторые примечания по фильтрации только к типу BigQueryAuditMetadata, но обратите внимание, что вы также можете фильтровать пополя внутри полезной нагрузки с использованием расширенного фильтра журналов (например, если вы хотите видеть, какие таблицы пишутся, читать, включать только определенных пользователей и т. д.).

Очевидно, выесли хотите, можете просто передавать все в BigQuery, но фильтрация может помочь снизить уровень шума.