Точность 0% с помощьюяя_генератора, но точность 75% во время тренировок с теми же данными - что происходит?

Question

Я сталкиваюсь с очень странным поведением модели keras с использованием ImageDataGenerator, fit_generator иvalu_generator.

Я создаю модель следующим образом:

classes = <list of classes>
num_classes = len(classes)

pretrained_model = Sequential()
pretrained_model.add(ResNet50(include_top=False, weights='imagenet', pooling='avg'))
pretrained_model.add(Dense(num_classes, activation='softmax'))

pretrained_model.layers[0].trainable = False

pretrained_model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['accuracy']
)

И яТренируйте это так:

idg_final = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    rotation_range=15,
)

traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')

pretrained_model.fit_generator(traing_gen, epochs=1, verbose=1)

fit_generator отпечатков loss: 1.0297 - acc: 0.7546.

Затем я пытаюсь оценить модель по точно таким же данным, на которых она обучалась.

debug_gen = idg_final.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes, shuffle=True)
print(pretrained_model.evaluate_generator(debug_gen, steps=100))

Какие отпечатки [10.278913383483888, 0.0].

Почему точность одинаково точна для одних и тех же точных данных?

Редактировать: Я также хотел указатьчто иногда точность выше 0,0.Например, когда я использую модель, обученную с пятью эпохами, evaluate_accuracy возвращает 6% точности.

---

Редактировать 2: Основываясь на ответах ниже, я обязательно обучался большему количеству эпох и что ImageDataGenerator для оценки не было случайных сдвигов и поворотов.Я все еще получаю очень высокую точность во время обучения и чрезвычайно низкую точность во время оценки на одном и том же наборе данных.

Я тренируюсь как

idg_final = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    rotation_range=15,
)

traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')                  

pretrained_model.fit_generator(traing_gen, epochs=10, verbose=1)

Что печатает следующее:

Found 9850 images belonging to 4251 classes.
Epoch 1/10
308/308 [==============================] - 3985s 13s/step - loss: 8.9218 - acc: 0.0860
Epoch 2/10
308/308 [==============================] - 3555s 12s/step - loss: 3.2710 - acc: 0.3403
Epoch 3/10
308/308 [==============================] - 3594s 12s/step - loss: 1.8597 - acc: 0.5836
Epoch 4/10
308/308 [==============================] - 3656s 12s/step - loss: 1.2712 - acc: 0.7058
Epoch 5/10
308/308 [==============================] - 3667s 12s/step - loss: 0.9556 - acc: 0.7795
Epoch 6/10
308/308 [==============================] - 3689s 12s/step - loss: 0.7665 - acc: 0.8207
Epoch 7/10
308/308 [==============================] - 3693s 12s/step - loss: 0.6581 - acc: 0.8498
Epoch 8/10
308/308 [==============================] - 3618s 12s/step - loss: 0.5874 - acc: 0.8636
Epoch 9/10
308/308 [==============================] - 3823s 12s/step - loss: 0.5144 - acc: 0.8797
Epoch 10/10
308/308 [==============================] - 4334s 14s/step - loss: 0.4835 - acc: 0.8854

И я оцениваю вот так на точно таком же наборе данных

idg_debug = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
)

debug_gen = idg_debug.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes)
print(pretrained_model.evaluate_generator(debug_gen))

, который печатает следующую очень низкую точность: [10.743386410747084, 0.0001015228426395939]

---

Полный код здесь .

Answer 1

Я подозреваю две вещи.

1 - Нет, ваши данные не совпадают.

Вы используете три типа увеличения в ImageDataGenerator,и кажется, что случайное семя не устанавливается.Итак, тестовые данные не равны тренировочным данным.

И, похоже, вы также тренируетесь только для одной эпохи, которая очень мала (если у вас действительно нет тонны данных, но, поскольку вы используете расширение, возможно, это не так).(PS: я не вижу аргумента steps_per_epoch в вашем fit_generator вызове ...)

Итак, если вы хотите увидеть хорошие результаты, вот несколько решений:

• удалить аргументы дополнения из генератора для этого теста (как обучающие, так и тестовые данные) - это значит, удалить width_shift_range, height_shift_range и rotation_range;
• если нет, потренируйтесь действительно долго, достаточно, чтобы ваша модель действительно привыкла ко всем видам дополненных изображений (кажется, что пять эпох пока еще слишком малы);
• или установите случайное начальное число и гарантируйте, что тестовые данные равны обучающим данным (аргумент seed в flow_from_directory)

2 - (Это может произойти, если вы очень плохо знакомы с Keras / программированием, поэтому, пожалуйста, игнорируйте, если это не так) Возможно, вы снова запускаете код, который определяет модель при тестировании.

Если вы снова запустите код, который определяет модель, он заменит все ваши предыдущие тренировки случайными весами.

3 - Поскольку у нас нет предложений:

Возможно, сохраните веса вместо сохранения модели.Я обычно делаю это вместо сохранения моделей.(По какой-то причине я не понимаю, я никогда не смог загрузить такую ​​модель)

def createModel():
    ....

model = createModel()
...
model.fit_generator(....)

np.save('model_weights.npy',model.get_weights())

model = createModel()
model.set_weights(np.load('model_weights.npy'))
...
model.evaluate_generator(...)

---

Подсказка:

Этоне связано с ошибкой, но убедитесь, что слой базовой модели действительно является слоем 0. Если я хорошо помню, у последовательных моделей есть входной слой, и вы должны вместо этого сделать слой 1 невосстановимым.

Используйте model.summary() для подтверждения количества необучаемых параметров.