В чем разница между тестом и валидацией, особенно в Mask-R-CNN?

Question

У меня есть свой собственный набор данных изображений, и я использую Mask-R-CNN для тренировок. Там вы делите свой набор данных на поезд, валидацию и тестирование.

Я хочу знать разницу между проверкой и проверкой. Я знаю, что проверка в целом используется, чтобы увидеть качество NN после каждой эпохи. На основании этого вы можете увидеть, насколько хорош NN и происходит ли переоснащение. Но я хочу знать, учится ли NN на основе набора проверки.

На основе набора поездов NN учится после каждого изображения и настраивает каждый нейрон, чтобы уменьшить потери. И после того, как NN закончит обучение, мы используем набор тестов, чтобы увидеть, насколько хорош наш NN с новыми невидимыми изображениями.

Но что именно происходит в Mask-R-CNN на основе набора проверки? Установлена ​​ли валидация только для просмотра результатов? Или некоторые параметры будут скорректированы на основе результатов проверки, чтобы избежать переобучения? И даже если это так, как сильно влияет набор параметров проверки на параметры? Будут ли настроены сами нейроны или нет?

Если влияние очень очень мало, тогда я выберу набор проверки, равный тестовому, потому что у меня не так много изображений (800).

Итак, в основном я хочу знать разницу между тестом и валидацией в Mask-R-CNN, то есть как и насколько набор валидации влияет на NN.

Answer 1

Модель не учится на проверочном наборе. Набор валидации используется только для того, чтобы дать аппроксимацию ошибки обобщения в любую эпоху, а также, что особенно важно, для оптимизации гиперпараметров. Поэтому я могу перебрать несколько разных конфигураций гиперпараметров и оценить их точность в наборе проверки.

Затем, после того как мы выберем лучшую модель на основе точности набора проверок, мы сможем рассчитать ошибку теста на основе набора проверок. В идеале нет большой разницы между точностью набора тестов и наборов проверок. Иногда ваша модель может по существу «соответствовать» набору валидации, если вы выполняете итерацию по множеству различных гиперпараметров.

Резервирование другого набора, набора тестов, для оценки после этой оценки набора проверки - это роскошь, которую вы можете иметь, если у вас много данных. Во многих случаях вам может не хватать маркированных данных для того, чтобы их можно было откладывать.

Наконец, эти вещи не являются специфичными для маскируемой RCNN. Наборы валидации никогда не влияют на обучение модели, то есть веса или смещения. Наборы валидации, как и наборы тестов, предназначены исключительно для оценки.