График оптимизатора SGD

Question

Я просто хотел задать быстрый вопрос. Я понимаю, что val_loss и train_loss недостаточно, чтобы определить, подходит ли модель. Тем не менее, я бы sh использовал его в качестве приблизительного показателя, отслеживая, увеличивается ли val_loss. Поскольку я использую оптимизатор SGD, у меня, похоже, есть 2 разных тренда, основанных на значении сглаживания. Какой я должен использовать? Синий - это val_loss, а оранжевый - train_loss.

Начиная с сглаживания = 0,999, кажется, что оба уменьшаются, но с сглаживанием = 0,927 val_loss, кажется, увеличивается. Спасибо за чтение!

Кроме того, когда самое подходящее время для снижения скорости обучения? Это непосредственно перед наложением модели?

Сглаживание = 0,999

Сглаживание = 0,927

Answer 1

По моему опыту работы с DL применительно к CNN, переоснащение больше связано с разницей в точности / потерях поездов / val, чем с одним или другим. На ваших графиках ясно, что с течением времени разница в потерях увеличивается, показывая, что ваша модель плохо обобщается на набор данных и, следовательно, показывает признаки переобучения. Это также поможет вам отслеживать точность классификации в наборах данных train и val, если это возможно - это покажет вам ошибку обобщения, которая действует как аналогичный показатель c, но может показать более видимые эффекты.

Снижение скорости обучения, когда потери начинают выравниваться и начинается переоснащение, - хорошая идея; тем не менее, вы можете получить больше выгоды для своего обобщения, если вы отрегулируете сложность net, чтобы лучше соответствовать набору данных в первую очередь. Для такого переоснащения может помочь умеренное снижение сложности - используйте разницу в потерях в поездах / валь и точность для подтверждения.