У меня есть несколько классификаторов. Я хочу получить метрики для классификатора с помощью classification_report
Я использовал cross_val_predict для получения прогнозов, а затем передал его classification_report. Я также использую вывод cross_val_predict для построения матрицы путаницы.
labels = get_labels() #ground truth
result = cross_val_predict(classifier, features, labels, cv=KFold(n_splits=10, shuffle=True, random_state=seed))
report = classification_report(labels, result, digits=3, target_names=['no', 'yes'], output_dict=True)
cm = confusion_matrix(result, labels, [no, yes])
В документации cross_val_predict:
Передача этих прогнозов в метрику оценки c может оказаться недопустимым способом измерения эффективности обобщения. Результаты могут отличаться от cross_validate и cross_val_score, если только все наборы тестов не имеют одинаковый размер и метри c не распадается на выборки.
Итак, это неправильный способ сделать это? Как мне это сделать?