Могу ли я тренировать точно настроенную модель на комбинированных (train + dev) наборах, а затем оценивать с помощью тестового набора?

Question

Набор данных, с которым я работаю, состоит из наборов поездов и тестов.Для точной настройки модели глубокого обучения в качестве проверочного набора используется 10% обучающего набора.После нахождения оптимальных значений гиперпараметров возможны два варианта:

a) Оценить модель (т. Е. Модель, которая обучается на 90% набора поездов) с помощью набора тестов

b) Оценитьмодель (т. е. модель, прошедшая переподготовку с полным набором поездов) с тестовым набором

Какой из перечисленных вариантов действителен?а почему?

Answer 1

Возможны оба варианта,
Но в первом случае ГЭС являются оптимальными, во втором случае они обычно близки к оптимальным гиперпараметрам (но не оптимальным), но у вас есть более представительный набор данных

В общем, предлагается сделать CrossValidation https://scikit -learn.org / stable / modules / cross_validation.html -> выбрать другой поезд / тест для более репрезентативного случая и выбратьлучшая база HPP на основе в среднем по значениям для каждого сгиба

Потому что, чем вы рискуете, ваша модель будет очень хорошей для этого конкретного случая , которую вы можете иметь дляНаборы данных Kaggle , но, возможно, не являются репрезентативными для реальных сценариев использования при производстве.

Подводя итог:
1. Если вы просто хотите выбрать лучшую модель для этого набора, возможно, вариант 1 является самым безопасным (вариант 2 также может быть выполнен, но у вас могут быть худшие результаты)
2Если вы участвуете в «реальном исследовании» , вам лучше провести перекрестную проверку, чтобы иметь более надежный набор ГЭС

.