Я устанавливаю семена на модели Gradient Boosting Machine (GBM), но продолжаю получать разные прогнозы - PullRequest
Новая
       15

Я устанавливаю семена на модели Gradient Boosting Machine (GBM), но продолжаю получать разные прогнозы

1 голос
/ 14 марта 2019

Я выполняю моделирование кредитного риска с использованием алгоритма Gradient Boosting Machine (GBM) и делаю прогнозы вероятности дефолта (PD). Я продолжаю получать разные PD для каждого прогона, даже когда в моем коде set.seed(1234).

Что может быть причиной этого и как я могу это исправить.Вот мой код ниже: 

fitControl <- trainControl(
  method = "repeatedcv",
  number = 5,
  repeats = 5)

modelLookup(model='gbm')

#Creating grid
grid <- expand.grid(n.trees=c(10,20,50,100,500,1000),shrinkage=c(0.01,0.05,0.1,0.5),n.minobsinnode
                    = c(3,5,10),interaction.depth=c(1,5,10))

#SetSeed
set.seed(1234)


# training the model
model_gbm<-train(trainSet[,predictors],trainSet[,outcomeName],method='gbm',trControl=fitControl,tuneGrid=grid)
# summarizing the model
print(model_gbm)

plot(model_gbm)

#using tune length
model_gbm<-train(trainSet[,predictors],trainSet[,outcomeName],method='gbm',trControl=fitControl,tuneLength=10)

print(model_gbm)

plot(model_gbm)

#Checking variable importance for GBM
#Variable Importance
library(gbm)
varImp(object=model_gbm, numTrees = 50)

#Plotting Varianle importance for GBM
plot(varImp(object=model_gbm),main="GBM - Variable Importance")

#Checking variable importance for RF
varImp(object=model_rf)

#Plotting Varianle importance for Random Forest
plot(varImp(object=model_rf),main="RF - Variable Importance")

#Checking variable importance for NNET
varImp(object=model_nnet)

#Plotting Variable importance for Neural Network
plot(varImp(object=model_nnet),main="NNET - Variable Importance")

#Checking variable importance for GLM
varImp(object=model_glm)

#Plotting Variable importance for GLM
plot(varImp(object=model_glm),main="GLM - Variable Importance")

#Predictions
predictions<-predict.train(object=model_gbm,testSet[,predictors],type="raw")
table(predictions)

confusionMatrix(predictions,testSet[,outcomeName])

PD <- predict.train(object=model_gbm,credit_transformed[,predictors],type="prob")

1 Ответ

1 голос
/ 14 марта 2019

Я предполагаю, что вы используете train() из caret.Я рекомендую вам использовать более сложный, но настраиваемый trainControl() из того же пакета.Как видно из ?trainControl, параметр seeds:

- необязательный набор целых чисел, который будет использоваться для установки начального числа на каждой итерации повторной выборки.Это полезно, когда модели работают параллельно.Значение NA будет препятствовать тому, чтобы начальное число было установлено в рабочих процессах, в то время как значение NULL установит начальное число, используя случайный набор целых чисел.Кроме того, список может быть использован.В списке должны быть элементы B + 1, где B - количество повторных выборок, если только метод не является «boot632», в этом случае B - число повторных выборок плюс 1. Первые элементы B списка должны быть векторами целых чисел длины M, гдеМ - количество оцениваемых моделей.Последний элемент списка должен быть только одним целым числом (для окончательной модели).См. Ниже раздел «Примеры» и «Детали».

Исправление seeds должно помочь.Пожалуйста, в следующий раз попытайтесь предложить dput o аналог ваших данных, чтобы их можно было воспроизводить.Best!

...