Это пример перетяжки?

Question

Обучение модели глубокого обучения примерно через 100 эпох:

Train accuracy : 93 %
Test accuracy : 54 %

затем точность обучения увеличивается, а точность теста уменьшается:

Train accuracy : 94 %
Test accuracy : 53 %
Train accuracy : 95 %
Test accuracy : 52 %
Train accuracy : 96 %
Test accuracy : 51 % 

Для первоначальной версии модели мы удовлетворены точностью до 54%, но я не знаю, что означает повышение точности обучения, снижение точности теста, за исключением переоснащения модели. Должен ли я прекратить обучение модели и использовать обученные параметры, когда будет достигнута максимальная точность теста, в данном случае 54%?

Какие знания я могу получить от наблюдения за повышением точности обучения и снижением точности теста? Является ли это примером более сильного переоснащения?

Answer 1

Да, безусловно, переобучение, когда я впервые начал строить логистические регрессии в SAS, у нас было правило большого пальца: иметь модель с поездом и тестовые характеристики не более чем на 10% друг от друга.

Другим способом может быть использование k-fold и получение сбалансированной производительности во всех сгибах.

В целом это означает, что модель стабильна, мы подгоняем ее под реальные тренды данных, а не подгоняем под шум.

Answer 2

Да, это точно переоснащение. Вы должны прекратить процедуру обучения в точке, где точность теста перестает расти. По номерам, которые вы показываете, ваша модель на самом деле сильно подходит. Вы должны рассмотреть возможность добавления регуляризации, чтобы возможно повысить точность теста.

(я добавляю): регуляризация, как @ Djib2011, говорит о том, как предотвратить переоснащение. Вы можете посмотреть, например, L2 или Dropout, которые являются одними из самых распространенных.

---

На вопрос был дан ответ в комментариях, и, поскольку никто не написал ответ, Я сделал этот ответ ответом сообщества вики . Это удалить этот вопрос из список без ответа. Оригинальный ответ был @ Djib2011. ФП рекомендуется выбрать это как ответить, чтобы удалить вопросы статус как без ответа. (Если человек Ответивший в комментариях решает дать ответ, ФП может и должен, выберите вместо этого ответ).