График, который вы отобразили прямо здесь, выглядит нормально с точки зрения метрик и потерь во время обучения.
Обычно наблюдаются небольшие всплески, так как мы используем batch_training. Кроме того, когда вы видите эти пики потерь (потеря увеличивается), точность также уменьшается.
Поэтому вам не о чем беспокоиться о сюжете.
Однако ваше наблюдение в отношении Точность проверки действительно разумна: в большинстве случаев это происходит из-за того, что набор данных проверки проще.
Один из способов решения этой проблемы - использовать перекрестную проверку, чтобы проверить, это явление все еще сохраняется.
Перекрестная проверка - это метод проверки модели, в котором на каждой итерации / сгибе имеется отдельная часть набора данных, зарезервированная для обучения и проверки. Картинка ниже суммирует то, что я только что написал.
Другая причина, по которой это явление имеет место, связана с техникой регуляризации, называемой выпадением. Как вы, возможно, знаете, на этапе обучения выпадение, применяемое на определенном уровне, подразумевает случайное отключение / деактивацию определенного процента нейронов. Это, в свою очередь, снижает производительность тренировочного комплекса, но в то же время риск переоснащения снижается. Поэтому, во многих случаях, когда Dropout используется во время обучения, может быть случай, когда точность проверки выше, так как во время прогнозирования проверки валидация не включена.