Вы можете сделать это, если используете Google Cloud Storage и Amazon S3 для хранения и обмена данными между облаками.
Ознакомьтесь с документацией gsutil Документация:
Инструмент gsutil позволяет получить доступ к облачному хранилищу из командной строки. Его также можно использовать для доступа и работы с другими облачными сервисами хранения данных, использующими аутентификацию HMA C, такими как Amazon S3. Например, после добавления учетных данных Amazon S3 в файл конфигурации .boto для gsutil, вы можете начать использовать gsutil для управления объектами в корзинах Amazon S3 .
Чтобы сделать это, следуйте указаниям Настройка учетных данных для доступа к защищенным данным , затем go в файл ~/.boto и найдите следующие строки:
# To add HMAC aws credentials for "s3://" URIs, edit and uncomment the
#aws_access_key_id = <your aws access key ID>
#aws_secret_access_key = <your aws secret access key>
заполните параметры aws_access_key_id и aws_secret_access_key своими учетными данными S3.
После этого вы сможете копировать из S3 в GCS или наоборот :
gsutil cp -R s3://my-aws-bucket gs://my-gcp-bucket
Если у вас есть большое количество файлов для передачи , вы можете использовать опцию верхнего уровня gsutil -m (см. Параметры справки gsutil), чтобы выполнить параллельная (многопоточная / многопроцессорная) копия:
gsutil -m cp -R s3://my-aws-bucket gs://my-gcp-bucket
для получения дополнительной информации gsutil cp документация .
Также вы можете использовать gsutil rsync команда для синхронизации данных между S3 и GCP:
gsutil rsync -d -r s3://my-aws-bucket gs://my-gcp-bucket
для получения дополнительной информации проверьте gsutil rsync документацию .