прогнозы перекрестной проверки из модели H2O autoML

Question

В соответствии с документацией по H2O, я могу установить keep_cross_validation_predictions = T для получения прогнозов перекрестной проверки из моей модели automl.

Но я не могу заставить его работать.

Используя этот пример из документации

library(h2o)

h2o.init()

# Import a sample binary outcome train/test set into H2O
train <- h2o.importFile("https://s3.amazonaws.com/erin-data/higgs/higgs_train_10k.csv")
test <- h2o.importFile("https://s3.amazonaws.com/erin-data/higgs/higgs_test_5k.csv")

# Identify predictors and response
y <- "response"
x <- setdiff(names(train), y)

# For binary classification, response should be a factor
train[,y] <- as.factor(train[,y])
test[,y] <- as.factor(test[,y])

# Run AutoML for 20 base models (limited to 1 hour max runtime by default)
aml <- h2o.automl(x = x, y = y,
                  training_frame = train,
                  max_models = 20,
                  keep_cross_validation_predictions = TRUE,
                  seed = 1)

После запуска модели я попробовал

h2o.cross_validation_predictions(aml)
h2o.cross_validation_predictions(aml@leader)

h2o.cross_validation_holdout_predictions(aml)
h2o.cross_validation_holdout_predictions(aml@leader)

но ничего из этого не работает.

edit Я использую последнюю стабильную версию 3.24.02

Answer 1

@ spore234 Я предполагаю, что вашим лидером является модель Stacked Ensemble, и эта модель не должна иметь каких-либо перекрестных проверочных прогнозов.

Вероятно, мы должны дать содержательное предупреждение по этому делу.

Позвольте мне также указать на следующую строку:

h2o.cross_validation_predictions(aml)

выдаст значительную ошибку, поскольку пользователь должен передать объект H2OModel, но aml является экземпляром класса H2OAutoML.