Загрузка файла в GCS Bucket в Airflow - PullRequest
0 голосов
/ 03 октября 2019

У меня есть Airflow DAG с переменной, установленной как корзина GCS следующим образом:

bucket = 'customer_accounts'

Когда я запускаю свою Airflow DAG, все работает нормально, и файл CSV загружается в customer_accounts корзину.

Теперь я хочу создать папку в корзине customer_accounts и отправить все файлы CSV из DAG в следующую папку в корзине.

bucket = 'customer_accounts/canada'

Однако, когдаЯ пытаюсь запустить группу DAG с bucket = 'customer_accounts/canada', получаю сообщение об ошибке с неверным именем корзины. Вы знаете, как решить эту проблему?

1 Ответ

1 голос
/ 03 октября 2019

Как уже упоминалось в комментарии, сегмент все еще равен 'customer_accounts', облачное хранилище Google не имеет концепции папок в традиционном смысле, они являются частью имени файла. Вы можете узнать больше здесь https://cloud.google.com/storage/docs/gsutil/addlhelp/HowSubdirectoriesWork.

...