Что делает модель glm с неизвестными уровнями факторов, добавленными после тренировки? - PullRequest
Новая
       4

Что делает модель glm с неизвестными уровнями факторов, добавленными после тренировки?

0 голосов
/ 14 февраля 2019

Я подгоняю модель glm к определенной факторной переменной с данными, не содержащими все уровни, которые у меня есть для этой переменной в данных, к которым я хочу применить модель.Неизвестные уровни можно просто игнорировать, поэтому, что бы ни предсказывала модель для них, мне все равно, если она относится к покою, как если бы уровни были одинаковыми в данных обучения и приложений.

Поскольку существует неизвестный факторУровни в данных приложения дают ошибку, я искал обходной путь и нашел отличный вариант, предоставленный @matt_k здесь: Ошибка «Фактор имеет новые уровни» для переменной, которую я не использую

Теперь добавление нового уровня все еще дает предупреждающее сообщение: 

In predict.lm(object, newdata, se.fit, scale = 1, type = ifelse(type == :
prediction from a rank-deficient fit may be misleading

Поэтому я хотел выяснить, что именно происходит.Я попробовал это на очень простом примере, опуская уровень цилиндра 6 в mpg -модели с mtcars: 

mtcars$cyl <- as.factor(mtcars$cyl)
model <- glm(formula = mpg ~ cyl, data = mtcars[mtcars$cyl !=6,])
model$xlevels[["cyl"]] <- union(model$xlevels[["cyl"]], levels(mtcars$cyl))
mtcars$preds <- predict(model, newdata = mtcars)
head(mtcars,15)

, давая мне: 

                    mpg cyl  disp  hp drat    wt  qsec vs am gear carb    preds
Mazda RX4          21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4 26.66364
Mazda RX4 Wag      21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4 26.66364
Datsun 710         22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1 26.66364
Hornet 4 Drive     21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1 26.66364
Hornet Sportabout  18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2 15.10000
Valiant            18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1 26.66364
Duster 360         14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4 15.10000
Merc 240D          24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2 26.66364
Merc 230           22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2 26.66364
Merc 280           19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4 26.66364
Merc 280C          17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4 26.66364
Merc 450SE         16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3 15.10000
Merc 450SL         17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3 15.10000
Merc 450SLC        15.2   8 275.8 180 3.07 3.780 18.00  0  0    3    3 15.10000
Cadillac Fleetwood 10.4   8 472.0 205 2.93 5.250 17.98  0  0    3    4 15.10000

Для меня это выглядит так, как будто модель просто выбирает коэффициенты с другого факторного уровня (в данном случае те, что на cyl = 4 делают прогноз для cyl = 6).Поскольку это было бы абсолютно нормально для меня, я был бы признателен, если бы кто-то мог подтвердить, что это именно то, что происходит.

1 Ответ

0 голосов
/ 14 февраля 2019

Давайте начнем с просмотра коэффициентов модели для частичного набора данных summary(model)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   26.664      1.068  24.966  < 2e-16 ***
cyl8         -11.564      1.427  -8.102 3.45e-08 ***

Прогнозы для cyl8 равны перехвату + эффект cyl8, поэтому 26,664 + -11,564= 15.10Для других уровней факторов (cyl4) предсказания равны перехвату (26.664).Добавление неизвестного уровня фактора даст тот же прогноз, поскольку R не имеет оснований для влияния дополнительных факторов (они были исключены в исходной модели).Мы можем видеть, что оценки известных факторов не зависят от оценки модели на полных данных.

model2<- glm(formula = mpg ~ cyl, data = mtcars)
summary(model2)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  26.6636     0.9718  27.437  < 2e-16 ***
cyl6         -6.9208     1.5583  -4.441 0.000119 ***
cyl8        -11.5636     1.2986  -8.905 8.57e-10 ***

Вы видите, что оценочные эффекты для cyl8 и справочной категории cyl4 не изменились (по-прежнему 15,10 и 26,66 соответственно).Таким образом, модель даст те же прогнозы для этих уровней факторов.Тем не менее, прогнозы для cyl6 завышены на 6,92, как вы можете видеть из недавно оцененного коэффициента.

...