Я запускаю ноутбук Jupyter на большом экземпляре AWS t2.2 и получаю «ошибку памяти» при обработке следующей функции (в первой строке 'dataset ='
):
def tensor_maker(image_list):
dataset = np.ndarray(shape=(len(image_list), 1, 16384))
print('Images to process: ' + str(len(image_list)))
i = 0
for file in image_list:
img = load_img(file, color_mode = "grayscale") # this is a PIL image
x = img_to_array(img)
reshaped = x.reshape(1, 16384)
dataset[i] = reshaped
i += 1
if i % 10000 == 0:
print("%d images to array" % i)
print('Processing Complete -')
return(dataset)
Является ли этопроблема с AWS, Jupyter или самим кодом?
Выход psutil.virtual_memory()
:
svmem(total=33731997696,
available=33273999360,
percent=1.4,
used=753344512,
free=32978653184,
active=388292608,
inactive=188358656,
buffers=2138112,
cached=293208064,
shared=438272)