AWS CLI S3 Bucket to Bucket копирование?

Question

Выполняя команду aws s3 cp --recursive s3://src-bucket s3://dest-bucket, загрузит ли она файлы локально и загрузит их в целевую корзину? Или (мы надеемся), что вся эта транзакция произойдет на AWS без файлов, попадающих на ваш экземпляр?

Спасибо

Answer 1

Копия происходит в течение AWS. Я проверил это следующим образом, используя awscli на экземпляре Ubuntu EC2:

1. загрузка 4 ГБ файлов в корзину1: пик 140 Мбит / с отправлено , реальное время 45 с, время пользователя 32 с
2. syn c bucket1 to bucket2: пик 60 кбит / с отправлено , реальное время 22 с, время пользователя 2 с

Примечание: «реальное» время - время настенных часов «пользовательское» время - это время ЦП в пользовательском режиме.

Таким образом, существует значительная разница в пиковой полосе пропускания (140 Мбит / с против 60 Кбит / с) и в использовании ЦП (32 с против 2 с). В случае № 1 мы на самом деле загружаем 4 ГБ файлов на S3, но в случае № 2 мы копируем 4 ГБ файлов из одного сегмента S3 в другой, не затрагивая нашу локальную машину. Небольшая полоса пропускания, используемая в случае № 2, связана с отображением прогресса syn c.

. Я видел в основном идентичные результаты при копировании объектов (aws s3 cp) и при синхронизации объектов (* 1019). *) между ковшами S3.