Что касается последнего вопроса в комментариях, я думаю, что вы имеете в виду другие случаи смещения и дисперсии.
В области статистики смещение относится к смещению ( систематическая c ошибка) в прогнозе или оценщике.
В области нейронных сетей ошибка смещения относится к разнице ваших train error и наилучших возможных error.
При обучении нейронной сети вы демонстрируете модели несколько примеров для изучения (набор обучений) и примеры не для изучения, а для измерения производительности (набор проверки или также называется набором dev). Разница между train error и validation/dev error называется variance и дает вам представление о том, насколько хорошо ваша модель обобщается на невидимые данные.
Поскольку вы, вероятно, будете обучать несколько моделей, пока не будете удовлетворены Результаты, вы выберете лучший, основываясь на validation/dev error. Это может включать в себя какое-то переопределение для гиперпараметров, поскольку вы сохраняете модели с максимальной производительностью только в validation/dev error.
. Вы можете использовать третий набор, называемый тестовым набором невидимых примеров, а не учиться у них. Если validation/dev error очень похож на test error, то (как правило) вы можете сделать вывод, что ваша модель не имеет наложения на гиперпараметры и должна работать так же хорошо, как в вашем наборе разработчиков.
Опять же, я Настоятельно рекомендуем вам посмотреть это видео для получения более подробной информации.
Надеюсь, это поможет!