Многокомпонентная загрузка требуется, когда размер загружаемого объекта превышает 5 ГБ.
Как указано в документации AWS для S3:
В зависимости от размера загружаемых данных Amazon S3 предлагает следующие параметры:
Загрузка объектов за одну операцию - с помощью одной операции PUT можно загружать объекты размером до 5 ГБ.
Загрузка объектов по частям - Используя API многоэтапной загрузки, вы можете загружать большие объекты размером до 5 ТБ.
Пример:
Загрузить первую часть:
$ aws glacier initiate-multipart-upload --account-id - --part-size 1048576 --vault-name my-vault --archive-description "multipart upload test"
Эта команда выводит идентификатор загрузки в случае успеха. Используйте идентификатор загрузки при загрузке каждой части вашего архива с помощью aws glacier upload-multipart-part, как показано ниже:
Загрузите остаток, предполагая, что возвращенный идентификатор загрузки равен 19gaRezEXAMPLES6Ry5YYdqthHOC_kGRCT03L9yetr220UmPtBYKk-OssZtLqyFu7sY1_lR7vgFuJV6NtcV5zpsJ
(повторяйте столько раз, сколько необходимо для использованияобъект):
aws glacier upload-multipart-part --body saw-09-21-19-part1.7z --range 'bytes 0-1048575/*' --account-id - --vault-name my-vault --upload-id 19gaRezEXAMPLES6Ry5YYdqthHOC_kGRCT03L9yetr220UmPtBYKk-OssZtLqyFu7sY1_lR7vgFuJV6NtcV5zpsJ
Пошаговая информация о том, как это сделать с помощью интерфейса командной строки:
https://docs.aws.amazon.com/cli/latest/userguide/cli-services-glacier.html
Более подробную информацию см. здесь:
https://docs.aws.amazon.com/AmazonS3/latest/dev/UploadingObjects.html
https://docs.aws.amazon.com/cli/latest/reference/glacier/upload-multipart-part.html