Модель обучения в режиме eval () дает лучший результат в PyTorch?

Question

У меня есть модель с выпадающими слоями (с р = 0,6).Я закончил тренировать модель в режиме .eval() и снова обучил модель в режиме .train(), и я обнаружил, что режим обучения .eval() дал мне лучшую точность и более быстрое снижение потерь на тренировочных данных,

train(): потеря поезда: 0,832, потеря проверки: 0,821
eval(): потеря поезда: 0,323, потеря проверки: 0,251

Почему это так?

Answer 1

Это похоже на то, что архитектура модели проста и в режиме поезда не может захватить элементы в данных и, следовательно, подвергается недостаточному оснащению.

eval() отключает выпадение и нормализацию пакетов, среди других модулей.

Это означает, что модель тренируется лучше без отсева, что помогает модели учиться лучше с большим количеством нейронов, также помогает увеличение размера слоя, увеличение количества слоев, уменьшение вероятности отсева.