Сбой большого файла на ноутбуке Jupyter

Question

У меня очень простая задача: мне нужно взять сумму в 1 столбец в файле, который содержит много столбцов и тысячи строк. Однако каждый раз, когда я открываю файл на jupyter, он вылетает, так как я не могу использовать более 100 МБ на файл.

Есть ли обходной путь для такой задачи? Я чувствую, что не должен открывать весь файл, так как мне нужен только один столбец.

Спасибо!

Answer 1

Вам нужно открыть файл, даже если вы хотите только одну строку, .. открыв его, загрузите его в другую память, и вот ваша проблема.

Вы можете открыть файл вне Ipython и разделить его на меньший размер ИЛИ

Используйте библиотеку типа pandas и читайте ее кусками, как в ответе

Answer 2

Я не уверен, что это сработает, поскольку предоставленная вами информация несколько ограничена, но если вы используете Python 3, у меня была похожая проблема. Попробуйте набрать это сверху и посмотреть, поможет ли это. Это может решить вашу проблему.

import os
os.environ['KMP_DUPLICATE_LIB_OK'] = 'True'

Приведенное выше решение является своего рода лейкопластырем и не поддерживается и может вызывать неопределенное поведение. Если ваши данные слишком велики для вашей памяти, попробуйте прочитать данные с помощью dask.

import dask.dataframe as dd
dd.read_csv(path, params)