Я пытаюсь понять, каков наилучший способ выбора метода калибровки (например, Isotoni c Регрессия против Logisti c Регрессия). У меня есть следующие 2 идеи:
Стратегия с четырьмя наборами:
- соответствует исходной модели на наборе поездов
- выберите параметры, используя набор проверки (либо split-logi c или CV)
- установка различных калибраторов в наборе тестов
- выбор наилучшего калибратора в наборе отсева (вне времени) (например, выбор на основе минимальной оценки Бриера )
- отчет о работе модели в наборе oot
Стратегия с 5 наборами:
- соответствует оригинальной модели в наборе поездов
- выберите параметры, используя набор проверки (split-logi c или CV)
- установите разные калибраторы на тестовом наборе
- выберите лучший калибратор на наборе тестовой калибровки (например, выберите на основе минимальной оценки Бриера)
- отчет о производительности модели по набору oot
Какую стратегию вы выберете, чтобы выбрать лучший калибратор? Я подозреваю, что стратегия с четырьмя наборами приведет к чрезмерно оптимистичным результатам c для набора oot, но я хотел бы получить более экспертное мнение по этому вопросу.