Как aws s3 sync обрабатывает прерывания? Возможно ли, что файлы повреждены?

Question

Я хочу выполнить синхронизацию aws s3 с корзиной. Что происходит с файлами, если синхронизация прерывается вручную? Возможно ли наличие поврежденного файла? AWS говорит, что multipart-upload используется для файлов> 5G, и здесь поврежденные файлы не могут возникать. Но как насчет файлов размером менее 5 ГБ?

Я не смог найти точную информацию в документации по этому вопросу. Я хочу использовать aws s3 sync, а не aws s3api.

Answer 1

AWS S3 не является иерархической файловой системой. Он разделен на два важных компонента: резервное хранилище и индекс, которые, в отличие от типичной файловой системы, являются отдельными ... поэтому, когда вы пишете объект, вы на самом деле не пишете его "на месте". Загрузка объекта сохраняет объект в хранилище резервных копий, а затем добавляет его в индекс корзины, который используется GET и другими запросами для извлечения сохраненных данных и метаданных для извлечения. Следовательно, в вашем случае, если синхронизация прервана, AWS несет ответственность за удаление этого файла, и он не будет проиндексирован,

Что касается многоэтапных загрузок, то здесь также AWS не будет отображать полный файл до тех пор, пока вы не отправите последнюю часть вашей многоэлементной загрузки, вы также можете отправить запрос на прерывание для прерывания многоэтапной загрузки, в этом случае AWS прекратит взимать плату за Ваши частично загруженные файлы.

для получения дополнительной информации о многоэтапной загрузке см. Этот документ:

S3 multipart upload