Я на Windows. У меня есть CSV с ~ 87 миллионов строк (10-12 столбцов). Я использую ноутбук Юпитер, и я могу прочитать его с Pandas. У меня также есть другой CSV, который составляет около 100К строк и может прочитать его. Проблема возникает, когда я пытаюсь (слева направо) соединить два. Я всегда заканчиваю тем, что получаю сообщение об ошибке
MemoryError: Unable to allocate __ GiB for array with shape (__,__) and data type ___.
. Я пытался удалить ненужные столбцы и преобразовать кадры данных Pandas в массивы и соединить их таким образом - не сработало. Я также попытался как можно меньше изменить типы данных столбцов в этих массивах - тоже не помогло. __ GiB в ошибке также изменяется - я видел 1,5, 3, 12 ... У меня 18,4 ГБ "общего размера файла подкачки для всех дисков" и я не могу изменить этот параметр. У меня также есть 77,3 ГБ свободного места в локальном хранилище, поэтому я не думаю, что это проблема.
Я видел другой ответ, где они изменили избыточную память, но это было для Linux. Это возможное решение на Windows? Кажется ли, что это как-то связано с Jupyter или моей машиной в целом? Любая помощь будет высоко ценится.