Я разделил свой набор данных на 70/25/5 поезд / проверка / тест.
Я запускаю перекрестную проверку гиперпараметров на нескольких моделях моего тренировочного набора (RForest, XGBoost, SVC, Logistic, все с использованием метрики auroc). После перекрестной проверки и повторной подгонки я хотел бы выбрать «лучшую» модель, основанную на значке auroc в моем наборе проверки. Я заметил, что результаты для RForest сильно чувствительны к параметру random_state (хотя он стабилен для других моделей).
В таком случае, как мне выбрать наиболее подходящую модель? Должен ли я усреднить auroc RFModels с разными random_state? Я что-то упустил?
См. Матрицу путаницы и отчет о классификации ниже
TIA
random_state = 0
Путаница =
[[67 78]
[62 76]]
precision recall f1-score support
-1.0 0.52 0.46 0.49 145
1.0 0.49 0.55 0.52 138
Случайное состояние = 10000
Путаница =
[[15 130]
[13 125]]
precision recall f1-score support
-1.0 0.54 0.10 0.17 145
1.0 0.49 0.91 0.64 138