Загрузка файла в Google Bucket из локальной системы с помощью Airflow - Python - PullRequest
Новая
       27

Загрузка файла в Google Bucket из локальной системы с помощью Airflow - Python

0 голосов
/ 07 сентября 2018

Так что я запускаю этого оператора на воздушном потоке 

from airflow.contrib.operators.file_to_gcs import FileToGoogleCloudStorageOperator

gcp_operator = \
    FileToGoogleCloudStorageOperator(
        task_id='gcp_task',
        src='/Users/john/Documents/tmp',
        dst='gs://constantine-bucket',
        bucket='constantine-bucket',
        google_cloud_storage_conn_id='DataScience',
        mime_type='Folder',
        dag=dag
    )

Когда я запускаю это, я получаю сообщение об ошибке 

"error": "invalid_scope",
"error_description": "\u0026quot;https://www.googleapis.com/auth/devstorage.read_write\u0026quot; is not a valid audience string

Кто-нибудь имеет представление о том, как запустить этот оператор на воздушном потоке?

1 Ответ

0 голосов
/ 07 сентября 2018

Звучит как отсутствующая зависимость. Вы должны быть в состоянии установить хуки и операторы GCP, используя: 

pip install apache-airflow[gcp_api]

Подробнее см. На этой странице: https://airflow.apache.org/installation.html

...