планирование запроса на копирование данных из набора данных между проектами в BigQuery - PullRequest
0 голосов
/ 22 мая 2019

Мы хотим выполнить тест на BigQuery с запланированными запросами.

Тест извлекает таблицу из набора данных и, в основном, копирует ее в другой набор данных (для которого у нас есть разрешение в качестве владельцев) в другом проекте.,До сих пор нам удавалось сделать это с помощью скрипта, который мы написали на R для API BigQuery в экземпляре Google Compute Engine, но мы хотим / должны сделать это с запланированными запросами в BigQuery.

Если я просто создаюзапрос для получения исходных данных таблицы, и я пытаюсь запланировать его, я вижу, что есть селектор проекта, но он отключен, так что кажется, что я привязан к проекту для пользователя, с которым я вхожу в систему.

Естьэто выполнимо, или я переусердствовал, и использование API - единственный способ сделать это?

1 Ответ

2 голосов
/ 22 мая 2019

Это выполнимо или я переусердствовал, и использование API - единственная возможность сделать это?

Текущая логика планировщика не допускает этого, и по этой причине раскрывающийся список проектов отключен в веб-интерфейсе пользователя.

В качестве примера я попытался установить это расписание. Задание

CREATE TABLE IF NOT EXISTS `projectId.partitionTables.tableName` (Field0 TIMESTAMP) --AS SELECT * FROM mydataset.myothertable

И это ошибка, возвращающаяся из TransferAPI

enter image description here

Вам нужно будет попросить команду BigQuery добавить эту опцию в будущую версию API планировщика

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...