Альтернатива FileToGoogleCloudStorageOperator - PullRequest
0 голосов
/ 10 сентября 2018

Итак, я нашел FileToGoogleCloudStorageOperator, который помогает в перемещении файлов из моей локальной системы в Google Cloud.Но есть ли подобный оператор воздушного потока, чтобы переместить весь каталог в Google Cloud.

1 Ответ

0 голосов
/ 10 сентября 2018

Не является официальным, но его было бы довольно легко создать, вы можете использовать повторное использование большей части логики из https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py

Вы можете использовать тот же GoogleCloudStorageHook, который используется для загрузки одного файла и просто перебирать каталог, загружая все файлы. Это то, что все функции загрузки каталогов для GCS будут делать в любом случае.

В зависимости от количества файлов, которые вы обычно должны загружать, вам лучше разбить загрузку на несколько задач. Таким образом, в случае сбоя одной задачи загрузки вам не нужно перезапускать загрузку для всех файлов. Это зависит от вашего варианта использования.

...