Объедините 7z кусков в AWS S3 Bucket

Question

Я сжал файл на несколько фрагментов, используя 7zip:

HAVE - в AWS S3 Bucket сохранено следующее:

pic.7z.001
pic.7z.002
pic.7z.003
pic.7z.004
pic.7z.005

Каждый блок составляет 700 МБ.

ХОЧУ - следующие данные также сохраняются в AWS S3 Bucket:

first step: pic.7z
second step: a folder called 'pic'

Я хочу сделать все это на AWS S3, если это возможно.

Как сделать Я распаковываю и объединяю эти куски, чтобы получить один файл, используя python?

Answer 1

Это невозможно сделать в S3, поскольку S3 отвечает только за хранение. Вы можете сделать это в AWS лямбде. Вы можете вызвать одну лямбда-функцию для каждого чанка и загрузить чанк в память, поскольку максимальный объем дискового пространства составляет только 512 МБ для каждой функции. Затем инициализируйте многоэтапную загрузку и используйте функцию многоэтапной загрузки S3 для загрузки каждого фрагмента в S3. Наконец, завершите многоэтапную загрузку, и S3 автоматически объединит все части в один файл 7z.