BigQuery - проект, рекомендации по настройке DataSet

Question

Я настраиваю BigQuery для новой реализации GCP. Мне интересно, есть ли лучшая практика в отношении проекта, организации набора данных, например, должен ли я создать один проект с различными наборами данных для всех источников / слоев для необработанных, обработанных слоев Datamart? Или разные проекты для разных вариантов использования и схем доступа?

Опция 1:

Проект

|_ Dataset_RAW

|_ Dataset_Processes

|_ Dataset_Datamart_Finance

|_ Dataset_Datamart_Marketing

Опция 2:

Проект RAW:

|_ Dataset_Source_A

|_ Dataset_Source_A

Процессы проекта:

|_ Dataset_Standardized

Финансирование проекта:

|_ Dataset_Finance_DataMart

Маркетинг проекта:

|_ Dataset_Marketing_DataMart

Полагаю, это широкий вопрос и многое зависит от цели компании. Но мне все же любопытно, есть ли какие-либо рекомендации, основанные на различных сценариях ios.

Answer 1

Необходимо знать 2 вещи:

1. Если вы избегаете всех примитивных ролей в проекте (владелец, редактор, средство просмотра), правами доступа можно управлять на уровне набора данных. Кстати, помещение данных в тот или иной проект никак не повлияет
2. Биллинг разделен на 2: стоимость хранения и стоимость запросов. Если вы разделяете проект, как вариант 2, и если, например, проекты принадлежат папкам для перерасчета дочерних компаний (как в моей компании), вы можете иметь проект, который содержит только данные (и почти ничего не платит) и проект, который запрашивает данные. Однако вы также можете управлять этим с помощью метки в наборе данных, если вы предпочитаете

Еще одно соображение : Если вы хотите защитить свои данные с помощью VP C Service Control, это интересно хранить конфиденциальные данные в конкретном c проекте (который вы хотите защитить с помощью VP C S C)

Как видите, все зависит от вашей организации, вашей стратегии и ваших пожеланий. Мой совет, чтобы воспроизвести реальную организацию команды, в организации проекта. У вас есть 3 разные команды? Настройте 3 проекта, каждая команда отвечает за свой проект.