Я переоснащаюсь? - PullRequest
0 голосов
/ 08 января 2020

Val loss(Blue) & Train Loss(Orange)

Как это выглядит при меньшем сглаживании

Привет! В настоящее время я тренирую свою модель с Darkflow Yolov2. Оптимизатором является SGD с lr 0,001. Основываясь на этом графике, моя потеря val> потеря поезда, что означало бы, что это переоснащение? Если это так, каков будет рекомендуемый порядок действий? Это кажется странным, потому что обе потери уменьшаются, но потеря val медленнее.

Для получения дополнительной информации, мой набор данных train состоит из 400 изображений на класс, с отдельными аннотациями, в общей сложности 2800 изображений. Я сделал это, чтобы предотвратить дисбаланс классов, аннотируя только один экземпляр класса на изображение. Мой набор данных val состоит из 350 изображений с несколькими аннотациями. По сути, я аннотировал каждый объект на изображениях. У меня есть 7 классов, и мой сплит поезд-валь-тест 80-10-10. Это причина потери Вэл?

1 Ответ

0 голосов
/ 08 января 2020

Обнаружение переоснащения включает несоответствие, поскольку точность обучения отличается от точности теста (валидации). Поскольку вы не предоставили эти данные, мы не можем оценить вашу модель.

Это может помочь уточнить этапы и термины; это должно позволить вам ответить на вопрос для себя в будущем:

«Конвергенция» - это точка обучения, на которой мы считаем, что модель

  • научилась чему-то полезному;
  • достиг этого уровня посредством воспроизводимого процесса;
  • не станет значительно лучше;
  • скоро ухудшится.

Сходимость - это где мы хотим прекратить обучение и сохранить (контрольную точку) модель для производственного использования.

Мы обнаруживаем сближение с помощью пропусков обучения и пропусков тестирования (проверки). При конвергенции мы ожидаем, что:

  • потери проверки (функция ошибок, недоумение и т. Д. c.) Находятся на относительном минимуме;
  • точность проверки на относительном максимуме;
  • метрики проверки и обучения "достаточно стабильны" в отношении общего поведения модели;
  • точность обучения и точность проверки по существу равны.

После тренировки run проходит эту точку, он часто переходит в «перетекание», в котором модель изучает вещи, настолько специфичные c для обучающих данных, что она уже не так хороша для вывода о новых наблюдениях. В этом состоянии

  • потери тренировки снижаются; потери при проверке возрастают;
  • увеличивается точность обучения; точность проверки падает.
...