Краткий ответ - да, отслеживание ошибки проверки и использование ее в качестве основы для принятия решения о конкретной настройке алгоритма добавляет смещение к вашему алгоритму. Для уточнения:
1) Вы исправляете гиперпараметры любого алгоритма ML и обучаете его на наборе поездов. Полученный вами алгоритм ML с определенным набором гиперпараметров подходит для обучающего набора, и вы используете набор проверки для оценки того, какую производительность вы можете получить с этими гиперпараметрами на невидимых данных
2) Но вы, очевидно, хотите отрегулировать свои гиперпараметры, чтобы получить максимальную производительность. Возможно, вы выполняете gridsearch или что-то подобное, чтобы получить наилучшие настройки гиперпараметра для этого конкретного алгоритма, используя набор проверки. В результате ваши настройки гиперпараметра соответствуют значению . Представьте, что некоторая информация о проверочном наборе все еще просачивается в вашу модель через гиперпараметры
3) В результате вы должны сделать следующее: разбить набор данных на обучающий набор, проверочный набор и тестовый набор. Используйте обучающий набор для обучения, используйте проверочный набор, чтобы принять решение о конкретных гиперпараметрах. Когда вы закончили (полностью сделали!) С тонкой настройкой вашей модели, вы должны использовать тестовый набор, который модель никогда не видела, чтобы получить оценку окончательных характеристик в боевом режиме.