Когда использовать наборы для проверки поезда

Question

Я знаю, что этот вопрос довольно часто встречается, но я посмотрел на все вопросы, которые задавались ранее, и до сих пор не могу понять, почему нам также нужен набор для проверки.Я знаю, что иногда люди используют только набор поездов и набор тестов, так зачем нам также нужен набор проверки?И как мы это используем?Например, чтобы вменять недостающие данные, я вменяю эти 3 разных набора отдельно или нет?

Спасибо!

Answer 1

Я попробую ответить примером.

Если я тренирую нейронную сеть или выполняю линейную регрессию и использую только данные обучения и тестирования, я могу проверить потерю тестовых данных для каждой итерации и остановиться, когда потеря тестовых данных начнет расти или получить снимок модели с наименьшими испытательными потерями.

В некотором смысле это «переизбыток» моих тестовых данных, так как я решаю, когда остановиться, основываясь на этом.

Если я использовал данные испытаний, обучения и проверки, я могу выполнить ту же процедуру, что и выше, с проверкой вместо данных проверки, а затем, после того как я решу, когда моя модель будет выполнена, я смогу проверить ее на никогда ранее просмотрели данные испытаний, чтобы дать мне более объективную оценку моих предсказаний моделей.

Что касается второй части вопроса, я бы предложил относиться, по крайней мере, к данным испытаний как к независимым, и по-разному исчислять отсутствующие данные, но это зависит от ситуации и данных.