Точность поезда увеличивается, потеря поезда стабильна, потеря валидации увеличивается, точность валидации низкая и увеличивается

Question

Моя тренировка нейронной сети в pytorch становится очень странной.

Я тренирую известный набор данных, который был разбит на поезд и проверку. Я перетасовываю данные во время тренировок и делаю пополнение данных на лету.

У меня есть такие результаты:

Точность поезда начинается с 80% и увеличивается

Потеря поезда уменьшается и остается стабильным

Точность проверки начинается с 30% , но медленно увеличивается

Потери при проверке возрастают

У меня есть следующие графики, чтобы показать:

1. Как вы можете объяснить, что потери при проверке возрастают, а точность проверки увеличивается?

2. Как может быть такая большая разница в точности между проверочными и обучающими наборами? 90% и 40%?

Обновление:

Я сбалансировал набор данных. Это бинарная классификация. Теперь у него 1700 примеров из 1 класса, 1200 примеров из 2 класса. Всего 600 для проверки и 2300 для обучения. Я по-прежнему вижу подобное поведение:

** Может ли это быть, потому что я заморозил веса в части сети?

* * Может ли это быть из-за гиперпараметров типа lr?

Answer 1

Я нашел решение: у меня было различное увеличение данных для набора обучения и набора проверки. Соответствие им также увеличило точность проверки!

Answer 2

Если тренировочный набор очень велик по сравнению с набором валидации, вы с большей вероятностью оденете и изучите тренировочные данные, что затруднит обобщение модели. Я вижу, что ваша точность тренировки составляет 0,98, а ваша точность проверки увеличивается очень медленно, что может означать, что вы переизбираете свои тренировочные данные.

Попробуйте уменьшить количество выборок в тренировочном наборе, чтобы улучшить насколько хорошо Ваша модель обобщается до невидимых данных.