Тренировка и тест расходятся при использовании кэтбуста

Question

Когда я запускаю регрессор catboost, мои тренировочные и тестовые графики расходятся со странными перегибами на ~ 1000 итерациях. График прилагается ниже, и моя настройка регрессора выглядит следующим образом:

cat_model=CatBoostRegressor(iterations=2500, depth=4, learning_rate=0.01, loss_function='RMSE', thread_count=-1, use_best_model = True, random_seed=12, random_strength=10, rsm=0.5)

Я пробовал разные значения leaf_estimation_iterations и bagging_temperature, но безуспешно. Любые предложения о том, что я должен попытаться получить лучшие результаты.

График соответствия модели

Answer 1

Расхождение нормальное. вы всегда будете лучше работать на наборе поездов, поскольку модель превышает обучающий набор, и ваша цель состоит в том, чтобы регулировать его с помощью набора для проверки. интуиция о том, как решить эту проблему.

специально для catboost, вы хотели бы упорядочить процедуру обучения, чтобы она лучше обобщала. вы можете начать с добавления дополнительных данных и установить более высокий параметр l2_leaf_reg.

В официальной документации есть гораздо больше хороших предложений по настройке модели: https://catboost.ai/docs/concepts/parameter-tuning.html