Получение ошибки CV и ошибки обучения в каретке R

Question

Я разделил свой набор данных на обучающий и тестовый. На наборе поездов я использую 10-кратную перекрестную проверку. Что должно дать среднюю ошибку CV_train и среднюю ошибку CV_validation. Если посмотреть на средние значения CV_train и CV_validation error, я смогу определить, переоснащаю ли я / недостаточно. Но я, кажется, получаю только среднюю ошибку CV_validation

library(caret)

train.control <- trainControl(method="cv", number=10, returnResamp="all", savePredictions="final")

model <- train(money ~ ., method="rf", data=train, trControl=train.control)

model$results

Я пробовал несколько вещей, но все они являются результатом CV_validations. Возможно ли вообще получить ошибку CV_training? Если нет, то как узнать, не подходит ли ваша модель или нет? Потому что тестовый набор будет использоваться в самом конце, когда модель будет готова (настроен et c)

Answer 1

Может помочь:

summary(model)

summary(model)$statistics$Accuracy

model

ggplot2::ggplot(model)