В следующем примере, какую эпоху лучше всего использовать, чтобы избежать переобучения?

Question

У меня есть 8-слойная полностью подключенная нейронная сеть, обучение которой обеспечивает следующую точность и прогрессирование потерь:

Что бы вы посчитали лучшей эпохой для использования до того, как модель начнет переоснащаться?

Фиолетовый? (эпоха № 39 - где потеря, по-видимому, уменьшает свое снижение, способствуя увеличению разрыва между обучением и проверкой)?

Оранжевый? (эпоха № 84 - самая низкая потеря до застоя)

Или другой момент?

Answer 1

Если вы хотите использовать его точно так же, тогда переоснащение здесь не должно быть основным, лучший результат (в данном случае val-loss) важнее.Но если вы хотите переобучить его, то вам лучше попробовать оба.

КСТАТИ 8 слоев слоя FC !!Мне кажется, это слишком много, разве у тебя нет проблемы исчезновения градиента?

Answer 2

число итераций не считается реальной проблемой при переоснащении вашей модели, вам следует выбрать лучшую.

для обозначения переоснащения следует использовать перекрестную проверку, регуляризацию, выбор на будущее ...