Определение размера таблицы Bigquery во всех проектах

Question

Мы поддерживаем таблицу в Bigquery, в которую записываются все журналы активности из журналов драйвера стека.Эта таблица помогает мне перечислить все присутствующие таблицы: пользователь, который создал таблицу, какая команда была последней запущена в таблице и т. Д. Для проектов и наборов данных в нашей организации.Наряду с этой информацией, я также хочу размер таблицы для таблиц, которые я пытаюсь проверить.

Я могу присоединиться к ТАБЛИЦАМ и TABLE_SUMMARY , однако мне нужно явно указать проект и набор данных, которые я хочу запросить, но моя таблица управления содержит сведения о нескольких проектахи наборы данных.

Существуют ли какие-либо другие таблицы метаданных, из которых я могу получить размер таблицы, или любые журналы, которые я могу загрузить в таблицу Bigquery, чтобы присоединиться и получить желаемые результаты

Answer 1

Вы можете использовать инструмент командной строки bq. С командой :

bq show --format=prettyjson

Это обеспечивает numBytes, datasetId, projectId и многое другое. С помощью скрипта вы можете использовать:

bq ls

и просматривайте наборы данных и таблицы в каждом проекте, чтобы получить необходимую информацию. Имейте в виду, что вы также можете использовать API или клиентскую библиотеку.