Самый дешевый способ удалить 2 миллиарда объектов из S3 IA

Question

У меня есть корзина в S3 (нечастый доступ), содержащая 2 миллиарда объектов. Он слишком велик для удаления в консоли или через API, не занимая годы.

Я могу создать правило жизненного цикла для истечения срока действия и удаления объектов, но калькулятор прогнозирует, что это будет стоить мне> 20 000 . Это верно? Есть ли лучший способ удалить ведро?

У меня есть файл, содержащий список всех объектов в этом сегменте, если это поможет.

Answer 1

Операции удаления бесплатны. Вы можете создать жизненный цикл Политика автоматизации массового удаления.

Сначала я бы начал с небольшого количества объектов и проверил отчет о выставлении счетов на 100%, подтвердив, что удаление не будет списано, а затем перейдите к остальным.

Answer 2

Если у вас есть список всех доступных объектов, то вы, безусловно, можете использовать действие Multi Delete Object . По-видимому, этот API бесплатный . Я бы создал конечный автомат AWS Step Functions, чтобы зациклить в файле и одновременно удалить 1000 объектов. 1000 кажется пределом.

Для удаления всех объектов в корзине потребуется около 2 миллионов операций с шаговыми функциями. В соответствии с ценой для пошаговой функции это будет стоить вам около $ 50 + стоимость Lambda-вызовов около $ 1, так что общая стоимость составит примерно $ 51.

Обновление

Использование лямбда-функций или пошаговых функций, вероятно, не самый экономически эффективный вариант, потому что в обоих случаях вам нужно будет прочитать файл (который содержит ключи объекта) из какого-то источника, такого как S3. Поэтому я думаю, что запуск сценария с локального компьютера или любого экрана Linux EC2 является наилучшим вариантом.