Чтение огромных файлов csv во фрейм данных в цикле - PullRequest
0 голосов
/ 29 мая 2020

Я написал код, который считывает огромные файлы csv (не менее миллиона записей в 8 столбцах), обрабатывает данные, а затем строит их.

Это делается итеративно для l oop. Он делает это правильно в первый раз, но затем, когда он проходит через l oop второй раз, он всегда генерирует ошибку памяти.

Перепробовал все предложения в этом вопросе. Python, ошибка памяти, слишком большой CSV-файл

, но ничего не работает.

Похоже, что буфер заполняется после первой итерации и не может содержать второй файл, когда он проходит через l oop второй раз. Обратите внимание, что он должен пройти от go до l oop 67 раз.

Вы знаете, как я могу очищать буфер после каждой итерации? или любое другое решение.

Посоветуйте, пожалуйста.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...