как расширить оперативную память для Python нехватки памяти?

Question

Я использую большой набор данных для машинного обучения, и память моего ноутбука ограничена (8 ГБ)

и Python выдает мне эту ошибку

MemoryError: Unable to allocate 1.34 GiB for an array with shape (49998, 3607) and data type float64

при запуске этой строки

df_features = df_features.pivot(index='RepID', columns='Code', values='Frequency')

Как использовать USB-накопитель в качестве ОЗУ или как использовать жесткий диск как ОЗУ с python?

Answer 1

Если у вас смонтирован раздел подкачки, ваша ОС должна использовать его для подкачки. Имейте в виду, что переключение на жесткий диск происходит очень и очень медленно и, вероятно, даже медленнее для флэш-накопителя. Если вы хотите использовать жесткий диск в качестве памяти, вам следует использовать гораздо более быстрый SSD. Хотя, если возможно, желательно просто увеличить объем оперативной памяти.

Другой подход - уменьшить размер массивов или разрешение данных, с которыми вы имеете дело.