Делать запросы на пакетное копирование в AWS S3 с Python

Question

Я написал лямбда-функцию для копирования файлов из корзины s3 в другую корзину s3, и мне нужно переместить очень большое количество этих файлов.Чтобы попытаться удовлетворить требования к объему, я искал способ отправить эти запросы большими партиями на S3, чтобы сократить накладные расходы.Однако я не могу найти информацию о том, как это сделать в Python.В документации по boto3 есть класс Batch, но я не могу понять, как он работает или даже что он на самом деле делает.

Answer 1

Нет базового вызова API Amazon S3, который может копировать несколько файлов за один запрос.

Наилучшим вариантом является параллельная выдача запросов , чтобы они выполнялись быстрее.

boto3 Transfer Manager может быть в состоянии помочь с этим усилием.

Примечание: Нет такой вещикак команда «переместить» для S3.Вместо этого вам нужно будет скопировать , затем удалить .Просто упомяну это для других читателей.