Модель глубокого обучения застряла в локальных минимумах или наряде?

Question

Я обучил модель классификации изображений 10 классов, настроив Efficien tNet -B4 на 100 эпох. Я разделил свои тренировочные данные до 70/30. Я использовал стохастический c градиентный спуск с импульсом Нестерова 0,9, а начальная скорость обучения - 0,001. Размер партии равен 10. Похоже, что потери при испытаниях застряли на 84% для следующих 50 эпох (51-100). Я не знаю, была ли модель застряла в локальных минимумах или модель была переоснащена. Ниже приведено изображение теста и потери поезда с 51-й эпохи до 100-й. Мне очень нужна твоя помощь. Спасибо. Изображение потерянного поезда с 51-й по 100-ю эпоху.

Answer 1

Я посмотрел ваш график обучения и проверки. да, ваша модель тренируется, и потери снижаются, но ваша ошибка проверки составляет около 50%, что означает «случайное предположение».

Возможные причины -

1- Из-за ошибки поезда (который представлен на изображении между 50-100 эпохами), ошибка в среднем снижается, но она случайная. например, ваша ошибка в эпоху 100 почти одинакова в эпоху 70. Это может быть связано с тем, что ваш набор данных слишком прост и вы заставляете огромную сеть, например эффективную net, перегрузить ее.

2 - это также может быть из-за того, как вы его настраиваете, могут быть любые проблемы. например, какие слои вы заморозили и для какого слоя вы берете градиенты при выполнении BP. Я предполагаю, что вы используете предварительно обученные веса.

3- Проблема с оптимизатором. попробуйте использовать Адама

Было бы замечательно, если бы вы могли обеспечить общие потери (с эпохи 1 - 100).

Answer 2

На графике, который вы предоставили, потери на валидацию и обучение по-прежнему снижаются, поэтому ваша модель все еще тренируется, и в ней нет перегрузки. Если ваш тестовый набор застрял с той же точностью, возможно, причина в том, что данные, которые вы используете для своего набора данных обучения / проверки, не достаточно хорошо обобщены в вашем наборе тестовых данных (в вашем графике проверка достигла только 50% точности, пока ваш тест точность набора достигла 84%).