Каково желаемое поведение нейронной сети?

Question

Я попробовал несколько нейронных сетей и хотел бы знать, когда у меня есть хорошо обученная модель.

Во-первых, ошибка обучения снижается и остается постоянной в определенное количество эпох, то же самое сошибка проверки. Сошлось ли оно сейчас?

Во-вторых, ошибка обучения снижается во всех смоделированных эпохах, а ошибка проверки сначала снижается, но затем увеличивается после 10 эпох. Я должен был бы остановиться там?

В каком случае у меня лучше обученная модель? Что такое желаемое поведение?

Спасибо

Answer 1

В идеале, вы хотели бы, чтобы и ваша тренировка, и ошибка валидации уменьшились. Но иногда, если вы тренируетесь слишком много (то есть ваша модель слишком старается выучить ваш тренировочный набор данных), это может привести к переоснащению . В этом и заключается вся цель использования набора проверки для проверки того, не превышаете ли вы свой набор данных.

В первом случае, поскольку ваша ошибка для набора обучения и проверки корректно снижается, этоВозможно, что модель хорошо обучена. Но это не означает, что модель нашла глобальный минимум (если это то, о чем вы просили).

Во втором случае, после того момента, когда ваша ошибка проверки начинает расти, ваша модель начала перегоняться. набор данных. Таким образом, вы можете прекратить тренировки на этом этапе, потому что дальнейшие тренировки приведут вашу модель к переобучению. Это также известно как ранняя остановка .

Надеюсь, это поможет.