BigQuery Data Transfer не удаляет источники - PullRequest
0 голосов
/ 20 февраля 2019

Я использую задание Bigquery Data Transfer по запросу (в качестве теста перед автоматизацией), которое загружает данные из хранилища в таблицу.Все работает нормально, но я поставил «Удалить исходные файлы после передачи | true», и в конце ни один файл не будет удален.Они не загружаются снова, но всегда находятся здесь в моей папке хранения.

Это удаление имеет жизненно важное значение, так как объем данных может стать довольно большим за короткий период времени.Я мог бы удалить их с помощью другой программы, но тогда служба переноса стала бы менее интересной.

Само задание не выдает никакой ошибки, что означает, что что-то молча дает сбой.Вы знаете, что может быть причиной этого?Или, может быть, мне не хватает значения этого параметра?

Спасибо

1 Ответ

0 голосов
/ 22 февраля 2019

Убедитесь, что у вас достаточно разрешений для переноса в облачное хранилище, оно не сообщит явно, какие разрешения отсутствуют.

Необходимые разрешения

  1. BigQuery
    • bigquery.transfers.update
  2. Облачное хранилище
    • storage.objects.get
    • storage.objects.list
    • storage.objects.delete

Подробнее см. здесь

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...