когда я классифицирую свои данные с помощью функции randomForest и прогнозирую данные теста, точность и каппа составляют 0,96 и 0,95 соответственно. для оптимизации я выбрал функцию safs с методом rfSA с 1000 итерациями. при прогнозировании с использованием данных испытаний точность и каппа меньше, чем сама классификация. кто-то может сказать почему? из-за процесса оптимизации показатели производительности должны показывать повышение точности классификации. мои данные - США, cra sh записи с классом "FATALS".
library(randomForest)
set.seed(1700)
forest <- randomForest(as.factor(FATALS) ~.,data=newtr, importance=TRUE)
predictionrf <-predict(forest, newte,type="class")
trf<-table(predictionrf,newte$FATALS,dnn=c("Predicted", "Actual"))
rfcm<- confusionMatrix(trf)
rfcm
sarfctrl<-safsControl(functions=rfSA,method="cv",number=10)
sarf <- safs(x = newtr[,-12], y = newtr[,12], iters = 1000,differences = TRUE,safsControl = sarfctrl)
sarfp<-predict(sarf,newte,type="class")
tsarfp<-table(sarfp$pred,newte$FATALS,dnn=c("Predicted", "Actual"))
sarfcm<-confusionMatrix(tsarfp)