обучение VGG16 с нуля - PullRequest
Новая
       40

обучение VGG16 с нуля

0 голосов
/ 28 августа 2018

Я пытался обучить свою сеть VGG16 с нуля. для этого я скачал архитектуру с https://gist.github.com/baraldilorenzo/07d7802847aaad0a35d3

Один из авторов написал код в виде кода vgg-16_keras.py. В этом коде ожидаемый размер изображения по умолчанию был 224x224. Мои входные изображения также имели такие же размеры. Таким образом, не было никаких проблем с размером.

Затем я сделал несколько небольших изменений, чтобы у меня была готовая архитектура для обучения моей модели на некоторых образцах изображений, которые у меня под рукой. Когда я пытался тренировать свою модель, я получаю ошибку «отрицательного измерения». Для отладки кода я попытался получить некоторую функцию, которая давала бы мне выходные размеры разных слоев, но, к сожалению, их не было.

Я отправляю свой код, а также сообщение об ошибке 

import keras
import numpy as np
from keras import backend as K
from keras.models import Sequential
from keras.layers import Activation, ZeroPadding2D, Convolution2D, MaxPooling2D, Dropout
from keras.layers.core import Dense, Flatten
from keras.optimizers import Adam
from keras.metrics import categorical_crossentropy
from keras.preprocessing.image import ImageDataGenerator
from keras.layers.normalization import BatchNormalization
from keras.layers.convolutional import *
from matplotlib import pyplot as plt
from sklearn.metrics import confusion_matrix
import itertools
from matplotlib.pyplot import *


train_path="cats-and-dogs/train"
valid_path="cats-and-dogs/valid"
test_path="cats-and-dogs/test"

train_batches=ImageDataGenerator().flow_from_directory(train_path, target_size=(224,224), classes=['dog','cat'], batch_size=20)
valid_batches=ImageDataGenerator().flow_from_directory(valid_path, target_size=(224,224), classes=['dog','cat'], batch_size=10)
test_batches=ImageDataGenerator().flow_from_directory(test_path, target_size=(224,224), classes=['dog','cat'], batch_size=10)

imgs,labels=next(train_batches)

#Defining individual layers for oour CNN

l1=ZeroPadding2D((1,1),input_shape=(3,224,224))
l2=Convolution2D(64, 3, activation='relu')
l3=ZeroPadding2D((1,1))
l4=Convolution2D(64, 3, activation='relu')
l5=MaxPooling2D((2,2), strides=(2,2))

#
#
l6=ZeroPadding2D((1,1))
l7=Convolution2D(128, 3, activation='relu')
l8=ZeroPadding2D((1,1))
l9=Convolution2D(128, 3, activation='relu')
l10=MaxPooling2D((2,2), strides=(2,2))

l11=ZeroPadding2D((1,1))
l12=Convolution2D(256, 3, 3, activation='relu')
l13=ZeroPadding2D((1,1))
l14=Convolution2D(256, 3, 3, activation='relu')
l15=ZeroPadding2D((1,1))
l16=Convolution2D(256, 3, 3, activation='relu')
l17=MaxPooling2D((2,2), strides=(2,2))

l18=ZeroPadding2D((1,1))
l19=Convolution2D(512, 3, 3, activation='relu')
l20=ZeroPadding2D((1,1))
l21=Convolution2D(512, 3, 3, activation='relu')
l22=ZeroPadding2D((1,1))
l23=Convolution2D(512, 3, 3, activation='relu')
l24=MaxPooling2D((2,2), strides=(2,2))

l25=ZeroPadding2D((1,1))
l26=Convolution2D(512, 3, 3, activation='relu')
l27=ZeroPadding2D((1,1))
l28=Convolution2D(512, 3, 3, activation='relu')
l29=ZeroPadding2D((1,1))
l30=Convolution2D(512, 3, 3, activation='relu')
l31=MaxPooling2D((2,2), strides=(2,2))

l32=Flatten()
l33=Dense(4096, activation='relu')
l34=Dropout(0.5)
l35=Dense(4096, activation='relu')
l36=Dropout(0.5)
l37=Dense(1000, activation='softmax')

model = Sequential([l1,l2,l3,l4,l5,l6,l7,l8,l9,l10,l11,l12,l13,l14,l15,l16,l17,l18,l19,l20,l21,l22,l23,l24,l25,l26,l27,l28,l29,l30,l31,l32,l33,l34,l35,l36,l37])

#model = Sequential([l1,l2,l3,l4,l5,l6,l7,l8,l9,l10])
#model = Sequential([l1,l2,l3,l4,l5,l6,l7,l8,l9,l10])
print("Now Printing the model summary \n")
print(model.summary())

Обратите внимание, что я не вносил никаких изменений в размеры, значения гиперпараметров приведены в коде. Я просто изменил код с точки зрения документации, например, назвав разные слои, добавив комментарии и т. Д.

Кроме того, предложите способы диагностики будущих ошибок этого типа самостоятельно.

Сообщение об ошибке выглядит следующим образом: 

runfile('/home/upendra/vgg_from_scratch', wdir='/home/upendra') Found 200 images belonging to 2 classes. Found 100 images belonging to 2 classes. Found 60 images belonging to 2 classes. /home/upendra/vgg_from_scratch:53: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(256, (3, 3), activation="relu")`   l12=Convolution2D(256, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:55: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(256, (3, 3), activation="relu")`   l14=Convolution2D(256, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:57: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(256, (3, 3), activation="relu")`   l16=Convolution2D(256, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:61: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(512, (3, 3), activation="relu")`   l19=Convolution2D(512, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:63: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(512, (3, 3), activation="relu")`   l21=Convolution2D(512, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:65: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(512, (3, 3), activation="relu")`   l23=Convolution2D(512, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:69: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(512, (3, 3), activation="relu")`   l26=Convolution2D(512, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:71: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(512, (3, 3), activation="relu")`   l28=Convolution2D(512, 3, 3, activation='relu') /home/upendra/vgg_from_scratch:73: UserWarning: Update your `Conv2D` call to the Keras 2 API: `Conv2D(512, (3, 3), activation="relu")`   l30=Convolution2D(512, 3, 3, activation='relu') Traceback (most recent call last):

  File "<ipython-input-4-56412ac381d0>", line 1, in <module>
    runfile('/home/upendra/vgg_from_scratch', wdir='/home/upendra')

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/spyder_kernels/customize/spydercustomize.py", line 668, in runfile
    execfile(filename, namespace)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/spyder_kernels/customize/spydercustomize.py", line 108, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "/home/upendra/vgg_from_scratch", line 83, in <module>
    model = Sequential([l1,l2,l3,l4,l5,l6,l7,l8,l9,l10,l11,l12,l13,l14,l15,l16,l17,l18,l19,l20,l21,l22,l23,l24,l25,l26,l27,l28,l29,l30,l31,l32,l33,l34,l35,l36,l37])

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/keras/engine/sequential.py", line 92, in __init__
    self.add(layer)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/keras/engine/sequential.py", line 185, in add
    output_tensor = layer(self.outputs[0])

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/keras/engine/base_layer.py", line 457, in __call__
    output = self.call(inputs, **kwargs)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/keras/layers/pooling.py", line 157, in call
    data_format=self.data_format)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/keras/layers/pooling.py", line 220, in _pooling_function
    pool_mode='max')

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py", line 3880, in pool2d
    data_format=tf_data_format)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/tensorflow/python/ops/nn_ops.py", line 2153, in max_pool
    name=name)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/tensorflow/python/ops/gen_nn_ops.py", line 4640, in max_pool
    data_format=data_format, name=name)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/tensorflow/python/framework/op_def_library.py", line 787, in _apply_op_helper
    op_def=op_def)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/tensorflow/python/framework/ops.py", line 3414, in create_op
    op_def=op_def)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/tensorflow/python/framework/ops.py", line 1756, in __init__
    control_input_ops)

  File "/home/upendra/anaconda3/lib/python3.6/site-packages/tensorflow/python/framework/ops.py", line 1592, in _create_c_op
    raise ValueError(str(e))

ValueError: Negative dimension size caused by subtracting 2 from 1 for 'max_pooling2d_9/MaxPool' (op: 'MaxPool') with input shapes: [?,1,112,128].

1 Ответ

0 голосов
/ 21 мая 2019

Я подозреваю, что ваши определения Conv2D неверны.

Где у вас есть что-то вроде этого: 

Convolution2D(512, 3, 3, activation='relu')

Я думаю, вы имеете в виду это: 

Convolution2D(512, (3, 3), activation='relu')

Вам, вероятно, следует избегать позиционных параметров, чтобы избежать путаницы, ваши позиционные параметры подразумевают это: 

Convolution2D(filters=512, kernel_size=3, strides=3, activation='relu')

Я не помню, чтобы у VGG16 был шаг (3, 3), который вы определили. Поправьте меня, если я ошибаюсь, и я обновлю это (у меня не сгорела архитектура VGG в моей голове).

Обратите внимание, что ваша выходная форма перед max_pooling2d_9/MaxPool равна [?,1,112,128], это должно относиться к этой строке l10=MaxPooling2D((2,2), strides=(2,2)), потому что l9 - единственный слой перед Max Pool, который выводит 128 объектов. Но вы должны добавить name='a_useful_name' ко всем слоям, чтобы облегчить отладку. max_pooling2d_9/MaxPool невероятно трудно следовать.

Эта форма [?,1,112,128] относится к:

  • ? - неопределенный размер партии
  • 1 - высота изображения в слое l10 (это вывод l9, который, как мы ожидаем, будет таким же, как 3-е значение, 112), так что это проблема потомка.
  • 112 - ширина изображения в слое l10 (выглядит правильно)
  • 128 - количество фильтров (или каналов), вводимых в слой максимального пула.

Если бы я не ударил ногтем по голове, я надеюсь, что дал вам достаточное представление о архитектуре модели и о том, чего ожидать и где искать, чтобы помочь вам отследить ее.

Хорошим шагом для устранения неполадок является создание модели с l6 в качестве выходного слоя, не запускайте fit, а запустите predict, чтобы проверить, что выход на этом слое соответствует ожидаемой вами форме. Повторите с l7, l8 и т. Д. В какой-то момент довольно быстро вы увидите неожиданную выходную фигуру.

...