R h2o - матрица путаницы при перекрестной проверке порога mcc

Question

После обучения моей модели XGBoost, используя 5-кратную перекрестную проверку, я хотел бы получить представление о производительности модели на новых данных. Насколько я понимаю, производительность модели при каждой перекрестной проверке выполняется в приемлемой мере этой производительности.

Используя h2o.performance (best_XGBoost, xval = T), я могу получить путаницу матрицы перекрестной проверки. Тем не менее, порог был выбран на основе F1, и я хотел бы видеть производительность с использованием absolute_mcc для выбора порога.

Есть ли способ сделать это?

Answer 1

1.Производительность по новым данным:

     h2o.confusionMatrix(object = yourXGBmodelHere, 
                        newdata = yourTestSetHere, 
                        metrics = "absolute_mcc")

2.Оценка эффективности резюме:

fold_ass <- h2o.cross_validation_fold_assignment(model)
cvTrain <- h2o.cbind(data.train, fold_ass)

Пример: как модель 1 выполняет в первый раз:

h2o.confusionMatrix(object=h2o.cross_validation_models(model)[[1]], 
                    newdata=cvTrain[fold_ass == 0, ], 
                    metrics = "absolute_mcc")

Примечание: предполагается, что модель была обучена: keep_cross_validation_fold_assignment = TRUE и keep_cross_validation_predictions = TRUE.Так что вы можете использовать:

h2o.cross_validation_fold_assignment(model)
h2o.cross_validation_predictions(model)

h2o.cross_validation_models(model)