Я работаю над созданием организационного представления всех проектов GCP и их журналов BQ. Моя цель состоит в том, чтобы в нашем проекте мониторинга было одно представление / таблица, чтобы иметь возможность анализировать все задания / запросы BigQuery по всей организации.
В настоящее время я пробовал 2 различных подхода:
Использование агрегированных приемников экспорта на уровне организации с фильтром на "resource.type=bigquery_resource".
Проблемы : агрегированный приемник содержит только данные с момента его создания, но не включает историческую информацию.
Использование нового INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION, который в настоящее время находится в бета-версии.
Проблемы : информационная схема на уровне организации не включает «запрос» в качестве одного из столбцов.
Подход Information_schema содержит все данные, которые мне нужны, а также все столбцы, кроме «запроса», который запускает пользователь.
Мне интересно, если кто-нибудь реализовал подобный подход и как выглядело это решение? Мне нужна информация о хронологических запросах по всем проектам, в том числе о конкретном c запросе, который выполнил пользователь.
Есть мысли?