Как сжать и разархивировать файлы, которые не помещаются в памяти с Python - PullRequest
0 голосов
/ 24 января 2019

У меня много файлов объемом более 125 ГБ.Я хочу сжать их, потому что они будут передаваться через Интернет довольно часто, поэтому я думаю о том, чтобы сжать их перед передачей, а затем распаковать, но коллега сказал мне, что остроумие должно поместиться в памяти, чтобы сделать это с помощью Python.

Есть ли способ сделать это, не используя всю мою память?Возможно, встроенный модуль ZipFile уже избегает загрузки всех данных в память (и что мой коллега ошибается), но я не нашел ни одного источника с ответом.

1 Ответ

0 голосов
/ 25 января 2019

Вместо этого вы можете использовать gzip , что более легко поддерживает сжатие и распаковку потоков.

...