Resnet Кераса настраивает либо недостаточно, либо слишком хорошо: как я могу сбалансировать тренировку? - PullRequest
Новая
       37

Resnet Кераса настраивает либо недостаточно, либо слишком хорошо: как я могу сбалансировать тренировку?

1 голос
/ 17 апреля 2019

Я настраиваю Resnet Keras, предварительно обученный работе с данными imagenet для работы над определенной классификацией с другим набором данных изображений.Моя модель структурирована следующим образом: Resnet принимает входные данные, а поверх Resnet я добавил свой собственный классификатор.Во время всех экспериментов, которые я пробовал, модель была либо недостаточно, либо переоснащена.

Я в основном пробовал два подхода:

  • блокировать определенное количество n слоев по направлению к входу, чтобы они не обновлялись во время обучения.В частности, Resnet имеет 175 слоев, и я попытался с n = 0, 10, 30, 50, 80, 175. Во всех этих случаях модель подходит, получая точность по тренировочному набору, максимально равную 0,75,и при проверке не более 0,51.

  • блокирует все слои нормализации партии, а также некоторые n слои в начале (как и прежде), с n = 0, 10,30, 50. В этих случаях модель переопределяется, получая более 0,95 точности на тренировочном наборе, но около 0,5 на валидации.

Обратите внимание, что при изменении с Resnet на InceptionV3и блокируя 50 слоев, я получаю более 0,95 точности как для проверочных, так и для тестовых наборов.

Вот основная часть моего кода: 

inc_model = ResNet50(weights='imagenet',
                        include_top=False,
                        input_shape=(IMG_HEIGHT, IMG_WIDTH, 3))

print("number of layers:", len(inc_model.layers)) #175
#Adding custom Layers
x = inc_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(1024, activation="relu")(x)
x = Dropout(0.5)(x)
x = Dense(512, activation="relu")(x)
predictions = Dense(2, activation="softmax")(x)

model_ = Model(inputs=inc_model.input, outputs=predictions)

# fine tuning 1
for layer in inc_model.layers[:30]:
        layer.trainable = False
# fine tuning 2
for layer in inc_model.layers:
    if 'bn' in layer.name:
        layer.trainable = False

# compile the model
model_.compile(optimizer=SGD(lr=0.0001, momentum=0.9)
                    , loss='categorical_crossentropy'
                    , metrics=['accuracy'])

checkpointer = ModelCheckpoint(filepath='weights.best.inc.male.resnet.hdf5', 
                               verbose=1, save_best_only=True)

hist = model_.fit_generator(train_generator
                     , validation_data = (x_valid, y_valid)
                      , steps_per_epoch= TRAINING_SAMPLES/BATCH_SIZE
                      , epochs= NUM_EPOCHS
                      , callbacks=[checkpointer]
                      , verbose=1
                    )

Может кто-нибудь подсказать, как найтистабильное решение, которое чему-то учится, но не подходит?

РЕДАКТИРОВАТЬ: результат фазы обучения выглядит примерно так: 

Epoch 1/20
625/625 [==============================] - 2473s 4s/step - loss: 0.6048 - acc: 0.6691 - val_loss: 8.0590 - val_acc: 0.5000

Epoch 00001: val_loss improved from inf to 8.05905, saving model to weights.best.inc.male.resnet.hdf5
Epoch 2/20
625/625 [==============================] - 2432s 4s/step - loss: 0.4445 - acc: 0.7923 - val_loss: 8.0590 - val_acc: 0.5000

Epoch 00002: val_loss did not improve from 8.05905
Epoch 3/20
625/625 [==============================] - 2443s 4s/step - loss: 0.3730 - acc: 0.8407 - val_loss: 8.0590 - val_acc: 0.5000

Epoch 00003: val_loss did not improve from 8.05905

и так далее. Каждый раз, когда нет улучшенийна проверку

1 Ответ

0 голосов
/ 17 апреля 2019

У вас есть много вариантов, но вы пробовали раннюю остановку? или вы можете попытаться сделать увеличение данных или протестировать с более простой моделью.

...