Ошибка памяти - Jupyter Python3 - Экземпляр AWS - PullRequest
0 голосов
/ 22 декабря 2018

Я запускаю ноутбук Jupyter на большом экземпляре AWS t2.2 и получаю «ошибку памяти» при обработке следующей функции (в первой строке 'dataset ='):

def tensor_maker(image_list):

    dataset = np.ndarray(shape=(len(image_list), 1, 16384))
    print('Images to process: ' + str(len(image_list)))
    i = 0
    for file in image_list:
        img = load_img(file, color_mode = "grayscale")  # this is a PIL image
        x = img_to_array(img)
        reshaped = x.reshape(1, 16384)
        dataset[i] = reshaped
        i += 1
        if i % 10000 == 0:
            print("%d images to array" % i)
    print('Processing Complete -')
    return(dataset)

Является ли этопроблема с AWS, Jupyter или самим кодом?

Выход psutil.virtual_memory():

svmem(total=33731997696, 
available=33273999360, 
percent=1.4, 
used=753344512, 
free=32978653184, 
active=388292608, 
inactive=188358656, 
buffers=2138112, 
cached=293208064, 
shared=438272)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...