Я построил набор данных, который содержит списки, хранящиеся в массиве numpy.С некоторыми файлами я получаю ошибку памяти, оставляя 8 ГБ в моей оперативной памяти.Размер учебного файла составляет всего 4,5 МБ, и я пытаюсь добавить содержимое в два других списка.Я использую Python 3.6.7 в Windows 7, и numpy версия - 1.15.4.
Загрузите этот файл, чтобы воссоздать ситуацию (Сообщение об ошибке)
Ссылка на скачивание одного файла, который можно открыть
Этот файл заполнен всей оперативной памятью
import numpy as np
test_x=[]
test_y=[]
file= np.load("training_data/6411-0.01848-6-1545931005000.npy")
for d in file:
test_x.append(np.array(d[0]))
test_y.append(d[1])
File "D:\Program Files\Halite3_Python3_Windows-AMD64\try.py", line 13, in <module>
file = np.load("training_data/6416-0.02775-6-1545941239000.npy")
File "C:\Users\Fred\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\npyio.py", line 433, in load
pickle_kwargs=pickle_kwargs)
File "C:\Users\Fred\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\format.py", line 657, in read_array
array = pickle.load(fp, **pickle_kwargs)
MemoryError