Подход модели

Question

Я обучил модель, и мне потребовалось много времени, чтобы найти правильные гиперпараметры. Модель была обучена в течение 15 часов, и она, кажется, хорошо справляется со своей работой.

Когда я наблюдал потерю обучения и проверки, потеря тренировки несколько выше, чем потеря проверки. (красная кривая: обучение, зеленая: проверка)

Я использую отсев, чтобы упорядочить мою модель, и насколько я понял, выпадение это только применяется во время обучения, что может быть причиной.

Теперь мне интересно, натренировал ли я действующую модель? Не похоже, что модель сильно укомплектована?

Заранее спасибо за любой совет,

ура,

M

Answer 1

Сначала проверьте, есть ли у вас хороший набор данных, т. Е. Если это классификация, затем получите одинаковое количество изображений для всех классов и получите его из одного источника, а не из разных источников. И регуляризация, отсева используются для переоснащения / высокой дисперсии, так что не беспокойтесь об этом.

Тогда, я думаю, что ваша модель работает хорошо, когда вы обучили свою модель, первоначальная ошибка между ними различна, но когда вы увеличили эпохи, они оба встали на какой-то устойчивый путь. Ну это хорошо. И может быть причина этого в том, что я упоминал выше, или вы должны попытаться перетасовать их, а затем с помощью train_test_split для лучшего распределения учебных и проверочных наборов. График кривых обучения показывает хорошее соответствие, если:

1. График потери обучения уменьшается до точки устойчивости.
2. График потери проверки уменьшается до точки устойчивости и имеет небольшой разрыв с потерей обучения.

В вашем случае эти условия выполняются.

Тем не менее, если вы хотите иметь дело с высоким уклоном / недостаточным оснащением, вот несколько способов:

1. Тренируйте большие модели
2. Тренируйтесь дольше. Используйте лучшие методы оптимизации
3. Попробуйте другую архитектуру нейронной сети, а также гиперпараметры

А также вы можете использовать перекрестную проверку или GridSearchCV для поиска лучшего оптимизатора или гиперпараметров, но это может потребовать действительно долго, потому что вы должны тренировать его по разным параметрам каждый раз, учитывая ваше время, которое составляет 15 часов, тогда это может быть очень долго, но вы найдете лучшие параметры и затем тренируетесь по нему.

Прежде всего, я думаю, что с вашей моделью все в порядке.

Answer 2

Если ваша модель недостаточно подходит , ее производительность будет ниже, аналогично случаю переоснащения , потому что на самом деле она не может научиться эффективно получать оптимальный результат, т.е. функция, чтобы соответствовать данному распределению. Таким образом, вы должны использовать меньше техники регуляризации, например, меньше отсева, чтобы получить оптимальный результат.

Кроме того, выборка также может иметь решающее значение, потому что могут быть подмножества проверки-проверки, где ваша модель работает хорошо. на проверочном наборе и менее эффективен на тренировочном наборе и наоборот. Это одна из причин, по которой мы используем перекрестная проверка и различные методы выборки, например стратифицированная k-кратная .