Это переоснащение?

Question

У меня есть CNN, который работает очень хорошо (точность 96%, потеря ~ 1) на тренировочных данных, но плохо (точность 50%, потеря 3,5) на тестовых данных.

Answer 1

Это кажется мне слишком подходящим. Я не могу сказать наверняка, не зная точно, что вы пытаетесь найти. Чтобы убедиться, разделите ваши данные на обучение, тестирование и проверку.

Answer 2

Контрольная подпись переоснащения - это когда ваша потеря при проверке начинает расти, а ваша потеря при обучении продолжает уменьшаться, то есть:

(Изображение адаптировано из записи Википедии о переоснащении )

Вот некоторые другие графики, указывающие переоснащение ( источник ):

См. Также тему SO Как узнать, происходит ли недостаточное или избыточное оснащение? .

Очевидно, что ваш график потерь действительно демонстрирует такое поведение, так что да, вы действительно перегружаетесь.

Напротив, график, на который вы ссылались в комментарии:

не демонстрирует такого поведения, поэтому здесь вы не на самом деле переобучаете (вы только что достигли точки насыщения, за пределами которой вашошибка проверки больше не улучшается).

Answer 3

Точность

96% говорит о том, что вы действительно очень точно подходите к своим тренировочным данным. Точность 50% данных испытаний показывает, что ваша модель не может учитывать шум / изменчивость изучаемых данных. Это похоже на переоснащение учебника.

Похоже, вы называете ваши данные проверки вашими тестовыми данными. Может быть, вы можете лучше разделить ваши данные?