Сбой операции S3 API, обработчик мусора

Question

Я построил поверх AWS S3 SDK операцию, которая использует операцию копирования Amazon SDK. Я использую многочастное копирование, так как мой объект больше максимально доступного (5 ГБ) введите описание ссылки здесь

Мой вопрос: что произойдет, если все части «многочастного копирования» будут успешно выполнены, но последняя часть? Должен ли я справиться с ситуацией удаления частей, которые были скопированы?

Как правило, я ожидаю, что операция копирования поместит объект в папку tmp, и только если операция была успешной, чтобы перенести его в окончательное имя (имя сегмента dest s3). это так работает?

Answer 1

Похоже, что AWS SDK не записывает / закрывает объект как объект s3, пока не завершит успешное копирование всего объекта.

Я запустил простой тест, который скорее проверяет, записывает ли части во время строки кода копирования, и похоже, что он не запишет объект в s3.

поэтому ответ таков, что multi part не будет записывать объект, пока все части не будут успешно скопированы в корзину dest.

очистка не требуется

Answer 2

Если деталь не была успешно передана, вы можете отправить ее снова.

До тех пор, пока все части не будут скопированы и многократная загрузка (включая созданные с использованием put-part + copy) не будет завершена, у вас нет доступного объекта ... но вы все равно платите за хранение того, что у вас есть успешно загружены / скопированы, если вы не очистили вручную или не настроили корзину для автоматической очистки неполных многокомпонентных объектов .

Лучше всего сделать и то и другое - настроить ведро на сброс, а также настроить очистку кода после себя.