Несоответствие точности валидации и утраты валидации во время обучения

Question

Я тренирую свою модель CNN с 14k + изображениями для 30 эпох, а в 28-й эпохе я нахожу ненормальную точность и потерю проверки, как показано ниже:

 - 67s - loss: 0.0767 - acc: 0.9750 - val_loss: 0.6755 - val_acc: 0.8412
Epoch 27/30
 - 67s - loss: 0.1039 - acc: 0.9630 - val_loss: 0.3671 - val_acc: 0.9018
Epoch 28/30
 - 67s - loss: 0.0639 - acc: 0.9775 - val_loss: 1.1921e-07 - val_acc: 0.1190
Epoch 29/30
 - 66s - loss: 0.0767 - acc: 0.9744 - val_loss: 0.8091 - val_acc: 0.8306
Epoch 30/30
 - 66s - loss: 0.0534 - acc: 0.9815 - val_loss: 0.2091 - val_acc: 0.9433
Using TensorFlow backend.

Может кто-нибудь объяснить, почему это произошло?

Answer 1

Как Аркадий.А сказал, это сильно похоже на переоснащение.Это означает, что ваша модель запоминает изображения, поэтому ваша точность повышается и повышается.Но при проверке данных вы получаете плохой результат.

Пример: Вы запоминаете, что 2 * 8 = 16, не понимая, как работает умножение в математической реальности.Таким образом, для вопроса 2 * 8 вы даете ответ 16. А для 2 * 9 =?вы не знаете, что такое anwser.

Как избежать:

1. Используйте сильное увеличение изображения, например imgaug или augmentor.
2. Используйте Dropout Layer
3. Рассчитайте и сохраните 2 графика для каждой эпохи, один для точности данных поезда, один для проверки. Обычно оба графика повышаются в начале, а после эпохи X график проверки начинает прыгать или уменьшаться.Эта эпоха или эпоха-1 является вашим последним хорошим состоянием.
4. Используйте больше метрик, таких как ROC AUC
5. Используйте EarlyStop Callback с мониторингом val_acc

Answer 2

Для меня это выглядит как переоснащение .Потери и точность тренировок приближаются к нулю, тогда как потери и точность проверок прыгают.

Я бы порекомендовал вам настроить регуляризацию (выпадение, l2 / l1, увеличение данных ...) или емкость модели.

Обычно рекомендуется иметь модель большой емкости с настроенной регуляризацией.