Обслуживание динамически генерируемых ZIP-архивов в Django

Question

Как обслуживать пользователей динамически создаваемый ZIP-архив в Django?

Я создаю сайт, где пользователи могут выбрать любую комбинацию доступных книг и загрузить их в виде ZIP-архива. Я обеспокоен тем, что создание таких архивов для каждого запроса приведет к замедлению работы моего сервера. Я также слышал, что в настоящее время у Django нет хорошего решения для обслуживания динамически генерируемых файлов.

Answer 1

Решение заключается в следующем.

Используйте модуль Python zipfile для создания zip-архива, но в качестве файла укажите StringIO объект (для конструктора ZipFile требуется файлоподобный объект). Добавьте файлы, которые вы хотите сжать. Затем в вашем приложении Django верните содержимое объекта StringIO в HttpResponse с mimetype, установленным в application/x-zip-compressed (или, по крайней мере, application/octet-stream). Если хотите, вы можете установить заголовок content-disposition, но это не должно быть обязательным.

Но будьте осторожны, создание zip-архивов при каждом запросе - плохая идея, и это может убить ваш сервер (не считая тайм-ауты, если архивы большие). Подход с точки зрения производительности заключается в том, чтобы кэшировать сгенерированный вывод где-то в файловой системе и восстанавливать его только в случае изменения исходных файлов. Еще лучшая идея - подготовить архивы заранее (например, по заданию cron) и сделать так, чтобы ваш веб-сервер обслуживал их как обычную статику.

Answer 2

Вот вид Django для этого:

import os
import zipfile
import StringIO

from django.http import HttpResponse


def getfiles(request):
    # Files (local path) to put in the .zip
    # FIXME: Change this (get paths from DB etc)
    filenames = ["/tmp/file1.txt", "/tmp/file2.txt"]

    # Folder name in ZIP archive which contains the above files
    # E.g [thearchive.zip]/somefiles/file2.txt
    # FIXME: Set this to something better
    zip_subdir = "somefiles"
    zip_filename = "%s.zip" % zip_subdir

    # Open StringIO to grab in-memory ZIP contents
    s = StringIO.StringIO()

    # The zip compressor
    zf = zipfile.ZipFile(s, "w")

    for fpath in filenames:
        # Calculate path for file in zip
        fdir, fname = os.path.split(fpath)
        zip_path = os.path.join(zip_subdir, fname)

        # Add file, at correct path
        zf.write(fpath, zip_path)

    # Must close zip for all contents to be written
    zf.close()

    # Grab ZIP file from in-memory, make response with correct MIME-type
    resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed")
    # ..and correct content-disposition
    resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename

    return resp

Answer 3

Многие ответы здесь предлагают использовать буфер StringIO или BytesIO. Однако это не требуется, поскольку HttpResponse уже является файловым объектом:

response = HttpResponse(content_type='application/zip')
zip_file = zipfile.ZipFile(response, 'w')
for filename in filenames:
    zip_file.write(filename)
response['Content-Disposition'] = 'attachment; filename={}'.format(zipfile_name)
return response

Answer 4

Для python3 я использую io.ByteIO , поскольку StringIO не рекомендуется для этого. Надеюсь, это поможет.

import io

def my_downloadable_zip(request):
    zip_io = io.BytesIO()
    with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
        backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
                                                 # and do some iteration over it
     response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
     response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' + ".zip"
     response['Content-Length'] = zip_io.tell()
     return response

Answer 5

Django напрямую не обрабатывает создание динамического контента (в частности, Zip-файлов). Эта работа будет сделана стандартной библиотекой Python. Вы можете посмотреть, как динамически создать Zip-файл в Python здесь .

Если вас беспокоит замедление работы сервера, вы можете кэшировать запросы, если ожидаете, что у вас будет много одинаковых запросов. Вы можете использовать структуру кэша Django , чтобы помочь вам в этом.

В целом, архивирование файлов может потреблять много ресурсов процессора, но Django не должен быть медленнее, чем другая веб-среда Python.

Answer 6

Я использовал Django 2.0 и Python 3.6 .

import zipfile
import os
from io import BytesIO

def download_zip_file(request):
    filelist = ["path/to/file-11.txt", "path/to/file-22.txt"]

    byte_data = BytesIO()
    zip_file = zipfile.ZipFile(byte_data, "w")

    for file in filelist:
        filename = os.path.basename(os.path.normpath(file))
        zip_file.write(file, filename)
    zip_file.close()

    response = HttpResponse(byte_data.getvalue(), content_type='application/zip')
    response['Content-Disposition'] = 'attachment; filename=files.zip'

    # Print list files in zip_file
    zip_file.printdir()

    return response

Answer 7

Бесстыдная вилка: вы можете использовать django-zipview для той же цели.

После pip install django-zipview:

from zipview.views import BaseZipView

from reviews import Review


class CommentsArchiveView(BaseZipView):
    """Download at once all comments for a review."""

    def get_files(self):
        document_key = self.kwargs.get('document_key')
        reviews = Review.objects \
            .filter(document__document_key=document_key) \
            .exclude(comments__isnull=True)

        return [review.comments.file for review in reviews if review.comments.name]

Answer 8

Этот модуль генерирует и передает архив: https://github.com/allanlei/python-zipstream

(Я не связан с разработкой. Просто думаю об ее использовании.)

Answer 9

Я предлагаю использовать отдельную модель для хранения этих временных zip-файлов. Вы можете создавать zip-файлы на лету, сохранять в модели с помощью файлового поля и, наконец, отправлять URL-адрес пользователю.

Преимущества:

• Обслуживание статических zip-файлов с помощью механизма медиа django (как при обычной загрузке).
• Возможность очистки устаревших zip-файлов путем обычного выполнения скрипта cron (который может использовать поле даты из модели zip-файла).

Answer 10

Разве вы не можете просто написать ссылку на "почтовый сервер" или еще что-нибудь? Почему сам Zip-архив нужно обслуживать из Django? CGI-сценарий 90-х годов для создания zip-файла и вывода его на стандартный вывод - это действительно все, что здесь требуется, по крайней мере, насколько я вижу.