Все значения точности отсутствуют с помощью ranger и classProbs = TRUE - PullRequest
Новая
       17

Все значения точности отсутствуют с помощью ranger и classProbs = TRUE

0 голосов
/ 07 апреля 2019 
library(dplyr)
library(caret)
library(doParallel)

cl <- makeCluster(3, outfile = '')
registerDoParallel(cl)
set.seed(2019)
fit1 <- train(x = X_train %>% head(1000) %>% as.matrix(),
              y = y_train %>% head(1000),
              method = 'ranger', 
              verbose = TRUE,
              trControl = trainControl(method = 'oob',
                                       verboseIter = TRUE,
                                       allowParallel = TRUE,
                                       classProbs = TRUE),
              tuneGrid = expand.grid(mtry = 2:3,
                                     min.node.size = 1, 
                                     splitrule = 'gini'),
              num.tree = 100,
              metric = 'Accuracy',
              importance = 'permutation')
stopCluster(cl)

Приведенный выше код приводит к ошибке:

Агрегирование результатов Что-то не так; все значения метрики точности отсутствуют: Точность каппа
Минимум : NA Мин. : NA
1-й кв .: NA 1-й кв .: NA
Медиана: нет Медиана: нет
Среднее значение: NaN Среднее значение: NaN
3-й кв .: нет 3-й кв .: нет
Максимум. : Нет Макс. : NA
NA: 2 NA: 2
ОШИБКА: Остановка

Я уже искал SO для этой ошибки и обнаружил, что есть много возможных причин. К сожалению, я не нашел ничего применимого к моему делу. Здесь проблема, похоже, связана с classProbs = TRUE - когда я удаляю это и используется значение по умолчанию FALSE, модель успешно обучается. Тем не менее, я не понимаю, почему это может быть проблемой в соответствии с документацией:

логично; следует ли рассчитывать вероятности классов для классификационных моделей ( вместе с прогнозируемыми значениями ) в каждой повторной выборке?

Образец данных: 

X_train <- structure(list(V5 = c(0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0), V1 = c(41.5, 
5.3, 44.9, 58.7, 67.9, 56.9, 3.7, 43.4, 38.6, 34.2, 42.3, 29.1, 
27.6, 44.2, 55.6, 53.7, 48, 58.4, 54, 7.1, 35.9, 36, 61.2, 24.1, 
20.3, 10.8, 13, 69.4, 71.5, 45.6, 34.4, 17.1, 30.1, 68.9, 25.1, 
37.4, 55.5, 58.9, 49.8, 47.2, 29.5, 19.9, 24.1, 27, 33.3, 41.9, 
33.2, 27.9, 48.4, 41.2), V2 = c(33.1, 35.4, 66.2, 1.8, 5, -0.9, 
32.8, 35.8, 36, 4, 65.5, 64, 61, 68.9, 69.3, 59.7, 29.8, 24.4, 
62.7, 12.2, 6, -1.2, 63.5, 7.5, 22.9, 40.5, 47.3, 1.6, -1.5, 
33.3, 53.3, 23.7, 2.7, 61, 2.4, 13.5, 8.1, 55.1, 29.6, 36.8, 
26.8, 26, 30.8, 53.8, 10.6, 1.9, 10.2, 29.1, 51.4, 33.1), V3 = c(0, 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, 0, 0, 0, 0, 0, 0), V4 = c(0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 
1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0)), class = c("tbl_df", 
"tbl", "data.frame"), row.names = c(NA, -50L))
y_train <- structure(c(2L, 2L, 2L, 1L, 1L, 2L, 2L, 1L, 2L, 1L, 1L, 1L, 1L, 
2L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 1L, 2L, 1L, 1L, 1L, 2L, 2L, 1L, 
1L, 1L, 2L, 2L, 2L, 1L, 1L, 2L, 2L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 
1L, 1L, 1L, 1L, 1L), .Label = c("plus", "minus"), class = "factor")

1 Ответ

0 голосов
/ 08 апреля 2019

Основываясь на ответах на https://stats.stackexchange.com/questions/23763/is-there-a-way-to-disable-the-parameter-tuning-grid-feature-in-caret, я попытался следовать совету, чтобы установить trainControl "метод" в значение "none", что позволило успешно выполнить. Второй ответ на вопрос подразумевал, что методы случайного леса не должны использовать сложные сетки(Я также установил для параметра 'mtry' одно значение, но я не уверен, что это было необходимо.) (Ранее я пытался отменить использование параллельных кластеров без какого-либо влияния на ошибки.) Вы можете добавить обратнотеперь у вас есть код, который не выдает ошибок. 

fit1 <- train(form=y~., x = X_train[,2:3] ,
              y = factor(y_train) ,
              method = 'ranger', 
              verbose = TRUE,
              trControl=trainControl(method="none"),
              tuneGrid = expand.grid(mtry = 2,
                                     min.node.size = 1, 
                                     splitrule = 'gini'
                                     ),
              num.tree = 100,
              metric = 'Accuracy',
              importance = 'permutation')
...