BigQuery Google Cloud, как поделиться набором данных с другими пользователями?используя питон

Question

У меня есть набор данных bigQuery, определенный в Google Cloud для моей учетной записи userA, и я хочу, чтобы мой коллега userB, являющийся членом той же группы, мог видеть набор данных, который я определил. Используя интерфейс командной строки bq, пользователь B может видеть проект, но не набор данных. Как я могу поделиться набором данных, созданным userA с userB, используя скрипт python?

Answer 1

Еще одна вещь, с которой вы можете столкнуться, это то, что вы должны предоставить доступ на уровне набора данных в BigQuery. В зависимости от того, как вы настроили пользовательские роли в облачной платформе и BigQuery, вам может потребоваться предоставить учетной записи службы прямой доступ к набору данных Bigquery.

Для этого перейдите в BigQuery, наведите курсор на свой набор данных и нажмите стрелку вниз, выберите «поделиться набором данных». Откроется модальное окно, где вы сможете указать, с каким адресом электронной почты и учетными записями службы можно обмениваться данными и контролировать их права доступа.

Дайте мне знать, если мои инструкции слишком запутаны, и я выложу несколько изображений, показывающих, как именно это сделать.

Удачи !!

Answer 2

Пример использования клиентской библиотеки Python. Адаптировано с здесь , но с добавлением вызова get_dataset для получения текущей политики ACL для уже существующих наборов данных:

from google.cloud import bigquery

project_id = "PROJECT_ID"
dataset_id = "DATASET_NAME"
group_name= "google-group-name@google.com"
role = "READER"

client = bigquery.Client(project=project_id)

dataset_info = client.get_dataset(client.dataset(dataset_id))

access_entries = dataset_info.access_entries
access_entries.append(
        bigquery.AccessEntry(role, "groupByEmail", group_name)
)

dataset_info.access_entries = access_entries
dataset_info = client.update_dataset(
    dataset_info, ['access_entries']) 

Еще один способ сделать это - использовать Google Python API Client и методы get и patch . Сначала мы получаем существующий ACL набора данных, добавляем группу как READER к ответу и исправляем метаданные набора данных:

from oauth2client.client import GoogleCredentials
from googleapiclient import discovery

project_id="PROJECT_ID"
dataset_id="DATASET_NAME"
group_name="google-group-name@google.com"
role="READER"    

credentials = GoogleCredentials.get_application_default()
bq = discovery.build("bigquery", "v2", credentials=credentials)

response = bq.datasets().get(projectId=project_id, datasetId=dataset_id).execute()
response['access'].append({u'role': u'{}'.format(role), u'groupByEmail': u'{}'.format(group_name)})

bq.datasets().patch(projectId=project_id, datasetId=dataset_id, body=response).execute()

Заменить переменные project_id, dataset_id, group_name и role соответственно.

Используемые версии:

$ pip freeze | grep -E 'bigquery|api-python'
google-api-python-client==1.7.7
google-cloud-bigquery==1.8.1