Индикация переоснащения

Question

Я обучаю модель распознавания изображений, используя начальное и трансферное обучение, на основе учебника Tensorflow of Poets.

У меня он работает на 500 тыс. Шагов, чтобы увидеть оптимальное количество шагов перед перетренировкой. На приведенном ниже изображении тензорной доски моя точность тренировок неуклонно растет, но точность проверки составляет около 70К шагов. Насколько я понимаю, точность проверки начнет падать, когда начнется перетренировка.

Каково было бы мое оптимальное количество шагов в таблице ниже? 70 тыс. Шагов или 260 тыс.?

Answer 1

Совершенно очевидно, что вы перегружаете свою модель. Для решения проблемы переоснащения существует несколько решений:
1) Ранняя остановка.
2) Регуляризация.
3) Уменьшение размера модели VC за счет уменьшения количества слоев или количества единиц на слой.
4) Дополнение вашего набора данных.
5) Применение трансферного обучения.

В вашем случае вы можете попробовать досрочно остановиться. Наилучшее количество итераций в соответствии с вашим графиком составляет 60 КБ.