Проверка на переоснащение и подгонка в моделях sklearn

Question

Я использую склеарн RandomForestClassifier в качестве своей классификации. Я не мог понять, как получить оценку «Подгонка» и «Подгонка» для моделей sklearn.

model = RandomForestClassifier(n_estimators=1000, random_state=1, criterion='entropy', bootstrap=True, oob_score=True, verbose=1)
model.fit(X_train, y_train)

В настоящее время я использую другие метрики для оценки моей модели, такие как - cross_val_score, confusion_matrix ,ification_report, PermutationImportance. Может кто-нибудь, пожалуйста, помогите мне с этим.

Answer 1

Существует несколько способов проверки соответствия и недостаточного соответствия. Если вы хотите посмотреть на результаты обучения и теста и сравнить их, вы можете сделать это с помощью sklearns cross_validate . Если вы прочитаете документацию, он вернет вам словарь с оценками поездов (если они представлены как train_score = True) и оценками тестов в предоставленных вами метриках.

пример кода

model = RandomForestClassifier(n_estimators=1000, random_state=1, criterion='entropy', bootstrap=True, oob_score=True, verbose=1)
cv_dict = cross_validate(model, X, y, return_train_score=True)

Вы можете также просто создайте набор тестов на вынос и разделите тесты на поезда и сравните результаты тренировок и тестов, используя набор тестовых данных.