Кросс-пост этот вопрос здесь , но мне кажется, что я вряд ли получу какой-либо ответ. Поэтому я публикую это здесь.
Я использую метод классификации Дерево сумок (Bootstrap Агрегирование) и сравниваю частоту ошибок ошибочной классификации с одним из одного дерева. Мы ожидаем, что результат от дерева упаковки лучше, чем от одного дерева, т. Е. Частота ошибок от сумки ниже, чем от одного дерева.
Я повторяю всю процедуру M = 100 раз (каждый раз, когда происходит случайное расщепление исходные данные, установленные в обучающий набор и набор тестов), чтобы получить 100 ошибок теста и ошибок теста упаковки (используйте для l oop). Затем я использую блокпосты, чтобы сравнить распределения этих двух типов ошибок.
# Loading package and data
library(rpart)
library(boot)
library(mlbench)
data(PimaIndiansDiabetes)
# Initialization
n <- 768
ntrain <- 468
ntest <- 300
B <- 100
M <- 100
single.tree.error <- vector(length = M)
bagging.error <- vector(length = M)
# Define statistic
estim.pred <- function(a.sample, vector.of.indices)
{
current.train <- a.sample[vector.of.indices, ]
current.fitted.model <- rpart(diabetes ~ ., data = current.train, method = "class")
predict(current.fitted.model, test.set, type = "class")
}
for (j in 1:M)
{
# Split the data into test/train sets
train.idx <- sample(1:n, ntrain, replace = FALSE)
train.set <- PimaIndiansDiabetes[train.idx, ]
test.set <- PimaIndiansDiabetes[-train.idx, ]
# Train a direct tree model
fitted.tree <- rpart(diabetes ~ ., data = train.set, method = "class")
pred.test <- predict(fitted.tree, test.set, type = "class")
single.tree.error[j] <- mean(pred.test != test.set$diabetes)
# Bootstrap estimates
res.boot = boot(train.set, estim.pred, B)
pred.boot <- vector(length = ntest)
for (i in 1:ntest)
{
pred.boot[i] <- ifelse (mean(res.boot$t[, i] == "pos") >= 0.5, "pos", "neg")
}
bagging.error[j] <- mean(pred.boot != test.set$diabetes)
}
boxplot(single.tree.error, bagging.error, ylab = "Misclassification errors", names = c("single.tree", "bagging"))
В результате получается
Не могли бы вы объяснить, почему частота ошибок для деревьев в мешках намного выше, чем для одного дерева? Я чувствую, что это не имеет смысла. Я проверил свой код, но не нашел ничего необычного.