Я только начал новую работу и получил ноутбук Dell XPS 13 7390, и он действительно борется с файлами / обработкой больших данных.
В настоящее время я работаю с 1,5 ГБ csv и получаю ошибка памяти при попытке открыть ее с помощью Python в блокноте Jupyter.
Ошибка токенизации данных. C ошибка: нехватка памяти
Я был уверен, что с легкостью открыл такие файлы на своем персональном ноутбуке, 10-летнем Macbook, поэтому я протестировал его на том же файл и он открылся .
Почему мой ноутбук Dell не работает, несмотря на наличие большого количества оперативной памяти? Можно ли изменить настройки, чтобы выделить больше памяти для ноутбуков Jupyter? Какие тесты я могу запустить, чтобы изучить это дальше?
Сведения об оборудовании ниже. Очевидное различие заключается в скорости процессора - это объясняет это?
Ноутбук Dell :
Ram - 16 ГБ
Процессор - Intel Core i7-10510U CPU @ 1,80 ГГц
MacBook :
Ram - 4 ГБ
Процессор - 2,7 ГГц Intel Core i7
Код, используемый для открытия файл:
import pandas as pd
data = pd.read_csv('data.csv')
data.shape
Форма = (2250493, 218)