Возможно ли быть переоснащенным с низкой точностью тренировки?

Question

Я работаю с проблемой классификации документов и пытался применить основную c модель RNN / LSTM.

Я сделал многослойную модель LSTM и тренировался с 15 эпохами, но я получил около 53% тренировок за cc. и 41% тестируют cc. Когда я тренируюсь с большими эпохами, тренирую cc. увеличился и протестировал cc. снизился примерно до 33%.
Я знал, если тест а cc. ниже, чем тренировка cc., это может быть переоснащение. И причина переоснащения в том, что модель обучала даже шуму набора данных поезда. Но я думаю, что если произошла перегрузка, тренировка cc. должен быть достаточно высоким (80-90%) и тестировать cc. это намного ниже, чем это, поскольку переоснащение означает, что модель была буквально «переоснащена» для обучения набора данных.

Теперь я удивляюсь, почему я получил точность на 10% ниже, когда я тренировался с 15 эпохами и получил всего 53% тренировок cc. Это переобучение? Может ли произойти перегрузка, когда я получил довольно низкую тренировку cc.?

Большое спасибо!

Answer 1

Низкая точность обучения - это показатель того, что ваша модель не имеет достаточной емкости, чтобы соответствовать данным тренировки (при условии, что набор данных согласован). Обычно это называется режимом подгонки. Но даже в этом случае не обязательно гарантируется, что точность проверки / проверки будет одинаковой из-за разницы в распределении данных и шумах. Это особенно верно, если набор данных небольшой. В вашем случае вы можете увеличить емкость модели (добавив больше слоев, увеличив число нейронов и т. Д. c.), Чтобы обеспечить высокую точность данных тренировки. После этого вы можете добавить различные методы регуляризации (отсев, снижение веса и т. Д. c.), Чтобы уменьшить переоснащение.