AWS CLI: синхронизация aws между двумя разными провайдерами s3

Question

У кого-нибудь есть решение для синхронизации сегмента между двумя разными провайдерами s3?

Например, один из них - Amazon S3, второй - Wasabi S3?

, который включает в себя 2 разные конечные точки и 2 разныенаборы учетных данных.

Предпочтительнее без локального хранения данных, говоря о более чем 1 миллионе файлов.

Answer 1

Существует замечательный инструмент с открытым исходным кодом "rclone", который может справиться с этим.

Это позволяет синхронизировать между любыми двумя S3-совместимыми хранилищами объектов - я использовал его для Minio для AWS S3

https://rclone.org/commands/rclone_sync/

Answer 2

Это было бы невозможно.

В Amazon S3 можно копировать напрямую между двумя сегментами, даже в разных регионах, поскольку службы S3 в каждом регионе взаимодействуют друг с другом.

Это было бы невозможно при использовании услуг, не относящихся к Amazon.

Поэтому лучше всего запустить экземпляр EC2, использовать aws s3 sync для загрузки файлов, а затем aws s3 sync (сдругая конечная точка и учетные данные) для подключения к Wasabi.

возможно , что S3-совместимые поставщики могут предложить более простой способ, но, похоже, Wasabi рекомендует «скачать и скопировать»Метод: Как мне скопировать файлы из AWS S3 в Wasabi?- База знаний Васаби