Как оценить классификатор по точности и получить кривую roc с опущенным в GridSearchCV?

Question

У меня есть конвейер обработки, который я отправляю в поиск по сетке, который использует пропущенный (50 выборок), чтобы определить лучшую модель следующим образомТочность, но я также хотел бы кривой RoC.Если я возьму clf.best_estimator_ и использую предсказанные вероятности из всего набора X, чтобы создать кривую roc, будут ли эти результаты слишком оптимистичными?Оценка точности clf.best_score_, о которой я сообщаю, усредняется по всем наборам одного выхода, но clf.best_estimator_ соответствует всему набору.Я беспокоюсь о том, что использование оценки восстановления для создания кривой roc даст слишком оптимистичные результаты.

Answer 1

Ваша проблема справедлива, конечно, использование уточненной оценки для оценки AUC, безусловно, будет чрезмерно оптимистичным.Обычно я разбивал данные на тренировку и тестирование перед запуском перекрестной проверки сетки / случайного поиска гиперпараметров, выполняемых в обучающей части данных с включенным восстановлением.Позже я воспользуюсь частью тестирования для вычисления любых других метрик, которые с большей вероятностью будут представлять истинные значения, поскольку модель никогда не видела их раньше.