Короткий вопрос: Является ли разница между валидацией и потерей обучения в начале обучения (в первые эпохи) хорошим показателем количества данных, которые следует использовать? Например, будет ли хорошим способом увеличить объем данных, пока разница в начале не станет настолько малой, насколько это возможно? Это сэкономило бы мне время и вычисления.
backround: Я работаю над нейронной сетью, которая очень быстро перезаряжается. Лучший результат после применения множества различных методов, таких как отсев, нормализация пакетов, снижение скорости обучения, уменьшение размера пакета, увеличение разнообразия данных, сокращение слоев, увеличение размеров фильтра ... все еще очень плохой. В то время как потери на тренировку уменьшаются очень хорошо, потери на валидацию слишком рано (я имею в виду, что слишком рано, желаемая потеря не достигается, она должна быть во много раз меньше). Поскольку тренировка с моим набором данных ~ 200 выборок заняла 24 часа в течение 50 эпох, Я надеялся найти способ борьбы с переобучением всеми методами, описанными выше, прежде чем увеличивать объем данных. Потому что ничего не помогло, я нахожусь в точке увеличения объема данных. Я думаю о том, сколько данных может быть достаточно для моей сети, чтобы устранить перегрузки. Я знаю, что на это нелегко ответить, потому что это зависит от сложности данных и задачи, которую я пытаюсь решить .. поэтому я пытаюсь обобщить свой вопрос следующим образом: