Настройка параметров машинного обучения с использованием многораздельного набора эталонных данных

Question

Я знаю, что это будет очень просто, но я действительно запутался и хотел бы лучше понять настройку параметров.

Я работаю над набором данных для эталонных тестов, который уже разбит на три тренировки,разработка и тестирование, и я хотел бы настроить параметры классификатора, используя GridSearchCV из sklearn.

Какой правильный раздел для настройки параметра?Это развитие или тренинг?

Я видел, как исследователи в литературе упоминали, что они " настраивали параметры, используя GridSearchCV на разделении разработки ", другой примернайдено здесь ;

Они имеют в виду, что они тренировались в обучающем разделении, а затем тестировались в разделении разработки?или практикующие ML обычно имеют в виду, что они выполняют GridSearchCV полностью в процессе разработки?

Я бы очень признателен за разъяснение.Спасибо,

Answer 1

Обычно в трехстороннем разделении вы тренируете модель с использованием обучающего набора, затем вы проверяете ее в разработке (которая также называется набором проверки), настроенной на настройку гиперпамеров, и затем, после того как все настройки завершены, вы выполняете финальнуюоценка модели на невидимом до тестирования наборе (также известном как набор оценки).

В двухстороннем разделении у вас просто есть набор поездов и набор тестов, поэтому вы выполняете настройку / оценку для того же самоготестовый набор.