Я работаю над веб-приложением на основе python3 и Flask (http://flask.pocoo.org).
. Мне нужно, чтобы пользователь загружал большие файлы TXT / CSV (до 5-10 ГБ), которые впоследствии будут проанализированы на сервере.из-за чрезмерного времени, использования и т. д. Я пробовал разные решения, я нашел это расширение pako JS (https://github.com/nodeca/pako), которое в основном сжимает файл перед загрузкой в браузере.
Мне удалось заставить его работатьв моем приложении, но конвейер стал довольно сложным, так как он требует, чтобы браузер сначала прочитал файл, затем разделил его на части, преобразовал каждый фрагмент в двоичный формат и сжал их с помощью pako deflate ({to: string}). Затемзаполняет dict этими сжатыми порциями и, наконец, записывает его в текстовый файл, к которому позже обращается другая веб-страница на стороне сервера, зацикливается, распаковывает каждый кусок и, наконец, преобразуется в простой текст, записывая его в оригинальную копиютекстовый файл в пользовательском каталоге загрузки.
Я также мог бы показать код, но он чрезвычайно сложенОн разделен на 4 разных страницы и содержит множество кнопок для управления задачами.
Тем не менее, это решение не принесло улучшения, на которое я надеялся, потому что файл перехода TXT (где я пишу словарь сжатых чанков)) имеет такой же большой размер, как и исходный файл.
Я понимаю, что мог усложнить процесс, но не смог заставить работать pako.js другим способом.
Я также искал другие решения,но я не нашел ничего, что казалось бы подходящим для работы.
Было бы чрезвычайно полезно, если бы кто-то мог указать на простое реализуемое решение для такого рода проблемы.
Кто-нибудьесть предложения?Или другие подходы, которые могут хорошо работать с загрузкой файлов TXT / CSV.
Заранее большое спасибо за любую помощь