Я пытаюсь загрузить, преобразовать и загрузить всю корзину S3 в хранилище BLOB-объектов Azure.Сама задача, хотя и тривиальная, стала действительно раздражающей из-за проблем с регулированием.Объем корзины составляет 4,5 ТБ и содержит около 700 000 000 ключей - мой первый подход состоял в том, чтобы создать Lambda для обработки пакета из 2000 ключей одновременно и просто атаковать S3.После запуска всех лямбд, я впервые столкнулся с дросселированием S3 -
{"errorMessage": "Пожалуйста, уменьшите частоту запросов.", "ErrorType": "SlowDown"}
Сначала это было забавно, но в конечном итоге это стало препятствием для всего процесса миграции.Перенос всей корзины с этой политикой регулирования займет у меня около 2 недель.Конечно, я реализовал экспоненциальную повторную попытку, но в этом масштабе более 100 лямбд одновременно это мало что дает.Я что-то пропустил?Есть ли услуга, которую я мог бы использовать для этого?Можно ли как-то преодолеть удушение?Любая помощь будет оценена.