Как часто я должен проверять на переоснащение? И как я могу автоматически обнаружить / действовать на это?

Question

Я новичок как в ML, так и в нейронных сетях, и читаю 'http://neuralnetworksanddeeplearning.com', что касается переоснащения в 3-й главе.

Автор заставляет свою примерную модель работать на своем тестовом наборе после каждой эпохи, чтобы он мог построить графики, чтобы отобразить точность обучения и точность теста (или изменение стоимости).

В настоящее время я редактирую свою программу, так что мой NN запускается на тестовом наборе после каждых 2 эпох, а затем я построю график эпох против точности тестирования. Я предполагаю, что это слишком часто, но я не уверен ...

Автор заявил, что как только изменение точности теста перестает увеличиваться, происходит переоснащение (или стоимость обучающего набора также перестает расти). Поэтому я думаю, что собираюсь написать код для определения плато точности теста, чтобы я мог затем автоматически переключать тренировочный набор (либо совершенно новый, либо другой вариант сгибов по сравнению с перекрестной проверкой с K-кратностью) - но может ли быть лучший способ?

Заранее спасибо за любые советы и указания:)

Answer 1

Ранняя остановка немного сложнее, если вы только начинаете. Это связывает оптимизацию вместе с регуляризацией. Было бы лучше использовать L2 или dropout вместо этого. Затем вы можете оптимизировать один шаг и упорядочить другой шаг.

Answer 2

Это называется Ранняя Остановка, когда потеря теста / проверки перестает улучшаться. Книга глубокого обучения, глава 7 , автор Ian Goodfellow et. и др. объясняет регуляризацию модели, включая раннюю остановку в разделе 7.8.

Keras имеет функцию обратного вызова, чтобы выполнить эту проверку и остановить обучение, и удачно названный EarlyStopping . По умолчанию он контролирует val_loss и останавливает тренировку, если прекращает улучшаться.