Разделить zip-архив на несколько частей - PullRequest
Новая
       12

Разделить zip-архив на несколько частей

0 голосов
/ 06 сентября 2018

Я пытаюсь создать zip-архив из, возможно, огромной папки. Для этого я использую модуль python zipfile, но, насколько я вижу, нет возможности разбить созданный архив на несколько частей с максимальным размером.

Предполагается, что заархивированный архив отправляется через Telegram с ограничением размера в 1,5 ГБ на файл. Тем самым мне нужно разделить полученный ZIP-архив.

Мне бы очень не хотелось использовать команды подпроцесса и оболочки для создания этого архива.

Мой текущий код выглядит так: 

def create_zip(archive_name, directory):
    """Create a zip file from given dir path."""
    with ZipFile(archive_name, "w", ZIP_LZMA) as target_zip_file:
        for root, _, files in os.walk(directory):
            for file_to_zip in files:
                absolute_path = os.path.join(root, file_to_zip)
                zip_file_name = absolute_path[len(directory) + len(os.sep):]
                target_zip_file.write(absolute_path, zip_file_name)

    return target_zip_file

Заранее спасибо

Ответы [ 2 ]

0 голосов
/ 19 июля 2019

Вот что я использую для отправки файла на канал телеграммы ботом telegram. Ограничение размера файла при загрузке телеграмма ботом составляет 50 МБ 

#! /usr/bin/python3
# -*- coding:utf-8 -*-
# apt-get install p7zip-full

import subprocess
import os
import math
import logzero

SPLIT_SIZE = 49

def file_split_7z(filePath, split_size=SPLIT_SIZE, removeOrigin=False):
    CMD_7Z = '7z a -v' + str(split_size) + "m -y '{}' '{}' -mx0"
    originFilePath = ''
    if os.path.splitext(filePath)[1] == '.7z':
        originFilePath = filePath
        filePath = os.path.splitext(originFilePath)[0] + '.7zo'
        os.rename(originFilePath, filePath)

    fz = os.path.getsize(filePath) / 1024 / 1024
    pa = math.ceil(fz / split_size)
    fn = os.path.splitext(filePath)[0].replace('.', '_')
    subprocess.call(CMD_7Z.format(fn, filePath), shell=True)
    file_list = []
    for i in range(pa):
        file_list.append('{}.7z.{:03d}'.format(fn, i + 1))
    if originFilePath:
        os.rename(filePath, originFilePath)
        filePath = originFilePath
    if removeOrigin:
        os.remove(filePath)
    file_list = [os.path.abspath(i) for i in file_list]
    return file_list


def split7zFile(filePath, logger=logzero.logger):
    file_size = os.path.getsize(filePath) / 2**20
    if file_size > SPLIT_SIZE :
        split_part = math.ceil(file_size / SPLIT_SIZE)
        split_size = math.ceil(file_size / split_part)
        logger.info('file size | {} | split num | {} |split size | {}'.format(file_size, split_part, split_size))
        filePathList = file_split_7z(filePath, split_size=split_size, removeOrigin=False)
    else:
        filePathList = [filePath]
    return filePathList
0 голосов
/ 06 сентября 2018

Если вы не нашли лучшего, собственного способа работы с zipfile, вы все равно можете написать алгоритм разделения файлов самостоятельно. Примерно так: 

outfile = archive_name
packet_size = int(1.5 * 1024**3)   # bytes

with open(outfile, "rb") as output:
    filecount = 0
    while True:
        data = output.read(packet_size)
        print(len(data))
        if not data:
            break   # we're done
        with open("{}{:03}".format(outfile, filecount), "wb") as packet:
            packet.write(data)
        filecount += 1

И похоже собрать его обратно на стороне приемника.

...