Как скопировать или передать один набор данных bigquery в другой bigquery из другой организации gcp

Question

У меня есть несколько наборов данных в моей учетной записи bigquery (организация A), которые необходимо перенести в другую учетную запись bigquery в организации B. Как это сделать?

Мне известны служба передачи данных и RESTapi, но, похоже, они передают данные на уровне проекта и региона в рамках организации.

Спасибо!

Answer 1

Вы можете использовать функцию BigQuery Копировать наборы данных (бета-версию на данный момент) для копирования наборов данных по проектам / организациям и по регионам (поддерживаются не все регионы). Межорганизационное копирование работает до тех пор, пока не установлены сервисные элементы управления VP C. Вы можете использовать COPY DATASET или TRANSFERS в веб-интерфейсе BQ или использовать CLI. Использование переносов позволяет запускать копию по повторяющемуся расписанию.

Использование: bq mk --transfer_config --project_id=[PROJECT_ID] --data_source=[DATA_SOURCE] --target_dataset=[DATASET] --display_name=[NAME] --params='[PARAMETERS]'

Используйте —params для указания набора исходных данных и других параметров.