Ошибка большого файла RSYNC / CP из Google Bucket на S3

Question

У меня есть экземпляр Ubuntu Google, успешно прошедший проверку подлинности / подключенный к корзине Google и корзине Amazon S3.

Я могу копировать / перемещать / редактировать небольшие файлы / папки в любой корзине с помощью экземпляра Ubuntu, и я могузагрузка напрямую в веб-интерфейс AWS

У меня около 4 файлов в Google Bucket, которые я пытаюсь либо RSYNC или GSUTIL CP от Google -> AWS

Небольшие файлы не проблема, ночто-нибудь более нескольких сотен мегабайт завершается с ошибкой ServiceException 400.

Вот команда, которую я пробовал

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp -r gs://(source bucket)/ s3://(destination bucket)/

или

gsutil rsync -d -r gs://(source bucket) s3://(destination bucket)

Может кто-нибудь посоветовать, если они имелиэта проблема раньше и лучший способ подтолкнуть Google Bucket -> AWS без загрузки / выгрузки .. то есть прямое ведро в ведро

Answer 1

С rsync - синхронизировать содержимое двух сегментов / каталогов | Облачное хранилище | Google Cloud :

Если вы синхронизируете большой объем данных между облаками, вы можете создать учетную запись Google Compute Engine и запустить там gsutil. Поскольку кросс-провайдер gsutil передает данные через компьютер, на котором работает gsutil, это может значительно ускорить вашу передачу по сравнению с gsutil на локальной рабочей станции.

Таким образом, при использовании этой команды загружает , а затем загружает данные.

Поскольку вы говорите, что у вас есть только 4 файла, вероятно, было бы так же легко загрузить каждый из них из Google Cloud, а затем загрузить их в Amazon S3 с помощью интерфейса командной строки AWS (CLI) .