Матрица путаницы не показывает правильный счет фактических значений.Полиномиальная регрессия, факторы - PullRequest
Новая
       11

Матрица путаницы не показывает правильный счет фактических значений.Полиномиальная регрессия, факторы

0 голосов
/ 24 мая 2018

У меня есть два вектора, фактические и прогнозные значения.Оба типа фактор с 8 уровнями.Восьмой уровень имеет только 55 фактических наблюдений и 0 прогнозируемых.Однако, когда я делаю матрицу путаницы, наблюдения уровня 8 исчезают или каким-то образом перемещаются.Разве столбцы фактической суммы не должны соответствовать их фактическим значениям?

Я сделал путаницу двумя разными способами для двойной проверки.Я также попытался явно сделать уровни факторов одинаковыми в обоих векторах.Пока не повезло. 

library(nnet); library(caret)

sc <- read.csv("https://archive.ics.uci.edu/ml/machine-learning-databases/00272/SkillCraft1_Dataset.csv")

# First column is ID
sc$LeagueIndex <- as.factor(sc$LeagueIndex)
sc <- sc[, -1]

# Set missing values to NA
which_qm <- sc[, c(2,3,4)] == '?'
sc[, c(2,3,4)][which_qm] <- NA
sc[, c(2,3,4)] <- apply(sc[, c(2,3,4)], 2, as.numeric)

# Set impossible values to NA
sc$TotalHours[sc$Age < sc$TotalHours/8760] <- NA
sc$HoursPerWeek[sc$HoursPerWeek >= 168] <- NA

# Fit model and store predictions
sc_mod1 <- multinom(LeagueIndex ~ ., sc)
sc_fitted1 <- predict(sc_mod1, sc)

# sc_fitted1 is missing factor level 8
confusionMatrix(data = sc_fitted1, reference = sc$LeagueIndex)
table(predicted = sc_fitted1, actual = sc$LeagueIndex)

# sc_fitted1 has factor level 8
levels(sc_fitted1) <- levels(sc$LeagueIndex)
confusionMatrix(data = sc_fitted1, reference = sc$LeagueIndex)
table(predicted = sc_fitted1, actual = sc$LeagueIndex)

# What's the problem?
table(sc$LeagueIndex)
length(sc$LeagueIndex)

table(sc_fitted1)
length(sc_fitted1)

1 Ответ

0 голосов
/ 24 мая 2018

Это связано со значениями NA, которые вы производите, и они все для уровня 8 вашей целевой переменной.Возможно, вам придется найти другой способ кодирования этих NA, если вы хотите, чтобы уровень 8 учитывался.

Попробуйте это в качестве контрпримера: 

library(nnet); library(caret)

sc <- read.csv("https://archive.ics.uci.edu/ml/machine-learning-databases/00272/SkillCraft1_Dataset.csv")

sc$LeagueIndex <- as.factor(sc$LeagueIndex)
sc <- sc[, -1]

which_qm <- sc[, c(2,3,4)] == '?'
sc[, c(2,3,4)][which_qm] <- 20   # this is just a random numeric value (not the best one to use!)
sc[, c(2,3,4)] <- apply(sc[, c(2,3,4)], 2, as.numeric)

sc_mod1 <- multinom(LeagueIndex ~ ., sc)
sc_fitted1 <- predict(sc_mod1, sc)

confusionMatrix(data = sc_fitted1, reference = sc$LeagueIndex)
table(predicted = sc_fitted1, actual = sc$LeagueIndex)

Это даствам как то так: 

         actual
predicted   1   2   3   4   5   6   7   8
        1  52  30   9   2   0   0   0   0
        2  61 123  78  58   4   1   0   0
        3  30  77 142  79  23   4   0   0
        4  21 104 248 410 252  45   0   0
        5   2  11  60 217 343 230   1   0
        6   1   2  16  45 184 333  32   2
        7   0   0   0   0   0   5   2   0
        8   0   0   0   0   0   3   0  53
...