Модель капитуляции, имеющая базу данных за 1 год (апрель-18 марта) с частотой событий 13%, хорошо держится в данных о тестировании поездов с AUC 0,83. Модель не перегружена и построена с переменными с диапазоном IV от 0,02 до 0,5, но когда я тестирую модель по октябрьским данным 2018 года, частота событий 3% не удерживается.
Я понимаю, что база модели и база валидации должны иметь почти одинаковую частоту событий, иначе модель никогда не сохранится. Это верно? Если нет, то как мы можем заставить эту модель хорошо работать с некоторыми невидимыми данными?