Ошибка получения памяти при изменении размера изображений CIFAR10 - PullRequest
Новая
       12

Ошибка получения памяти при изменении размера изображений CIFAR10

0 голосов
/ 11 января 2020 
def load_cifar10_data(img_rows, img_cols):

    # Load cifar10 training and validation sets
    (X_train, Y_train), (X_valid, Y_valid) = cifar10.load_data()

    # Resize training images
    X_train = np.array([cv2.resize(img, (img_rows,img_cols)) for img in X_train[:,:,:,:]])
    X_valid = np.array([cv2.resize(img, (img_rows,img_cols)) for img in X_valid[:,:,:,:]])

    # Transform targets to keras compatible format
    Y_train = np_utils.to_categorical(Y_train, num_classes)
    Y_valid = np_utils.to_categorical(Y_valid, num_classes)

    X_train = X_train.astype('float32')
    X_valid = X_valid.astype('float32')

    # preprocess data
    X_train = X_train / 255.0
    X_valid = X_valid / 255.0

    return X_train, Y_train, X_valid, Y_valid
X_train, y_train, X_test, y_test = load_cifar10_data(224, 224)

Получение ошибки памяти, если я запускаю ее в Google Colab, ОЗУ просто увеличивается, а ноутбук просто вылетает

1 Ответ

0 голосов
/ 12 января 2020

это потому, что вы используете больше лимита памяти, доступного в GoogleColab. CIFAR-10 имеет 60000 изображений ок. Примерно это будет эквивалентный размер (60 000 x 8 (с плавающей запятой = 8 байт) x 224 x 224 x 3 (если изображение в RGB)) = 72253440000 байт = 67,29 ГБ. В GoogleColab есть ограничение в 12 ГБ ОЗУ. Вы можете изменить размер изображения до меньшего или уменьшить количество изображений.

...