регрессия на подмножествах для уникальных комбинаций факторов с использованием lm

Question

Я хотел бы автоматизировать простую множественную регрессию для подмножеств, определяемых уникальными комбинациями группирующих переменных. У меня есть фрейм данных с несколькими группирующими переменными df1 [, 1: 6] и некоторыми независимыми переменными df1 [, 8: 10] и ответом df1 [, 7].

Это выдержка из данных.

structure(list(Surface = structure(c(1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), .Label = c("NiAu", "Sn"), class = "factor"), Supplier = structure(c(1L, 1L, 1L, 2L, 2L, 1L, 1L, 2L, 2L, 2L, 2L), .Label = c("A", "B"), class = "factor"), ParticleSize = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), .Label = c("3", "5"), class = "factor"), T1 = structure(c(2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 1L), .Label = c("130", "144"), class = "factor"), T2 = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "200", class = "factor"), O2 = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "1300", class = "factor"), Shear = c(56.83, 67.73, 78.51, 62.61, 66.78, 60.89, 62.94, 76.34, 70.56, 70.4, 54.15), Gap = c(373, 450, 417, 450, 406, 439, 439, 417, 439, 441, 417), Clearance = c(500.13, 509.85, 495.97, 499.55, 502.66, 505.33, 500.32, 503.28, 507.44, 500.5, 498.39), Void = c(316, 343, 89, 247, 271, 326, 304, 282, 437, 243, 116)), .Names = c("Surface", "Supplier", "ParticleSize","T1", "T2", "O2", "Shear", "Gap", "Clearance", "Void"), class = "data.frame", row.names = c(NA, -11L))

Использование уникального (df1 [, 1: 6]) возвращает 5 факторных комбинаций группирующих переменных. Так что должно быть 5 подмножеств, где я применяю функцию lm (). Мой звонок выглядит так

df1.fit.by<-with(df1,by(df1,df1[,1:6], function(x) lm(Shear~Gap+Clearance+Void,data=x)))
sapply(df1.fit.by,coef)

Проблема 1: возвращает список из 16 записей списка. По-видимому, он рассчитывает все возможные комбинации факторов первых шести группирующих переменных. (V5 + V6 имеют только на уровне, но V1: 4 имеют два уровня уровней в отрывке. В результате 2 ^ 4 = 16) Но он должен использовать только реально существующие комбинации факторов в данных. Так что я полагаю, что () не является правильной функцией для достижения этой цели. Есть предложения?
Проблема 2: мне легче ссылаться на индексы столбцов, а не на имена переменных. Поэтому я изначально пытался использовать мою функцию lm () так, как lm (df1 [, 7] ~ df1 [, 8] + df1 [, 9]). Это не сработало. Потому что я всегда обращаюсь ко всему фрейму данных df1 вместо подмножеств. Так что, вероятно, мне следует передать значения строк для комбинаций факторов в функцию lm (), а не в полный фрейм данных.

Я думаю, что решение проблем 1 и 2 так или иначе связано и решается с помощью другой функции подмножества. Было бы хорошо, если бы кто-нибудь попытался объяснить, где моя ошибка. Если это возможно, я бы придерживался стандартных пакетов просто потому, что хочу улучшить свое понимание R. Спасибо

РЕДАКТИРОВАТЬ: незначительная ошибка в присвоении переменной

Answer 1

Вы можете использовать пакет plyr:

require(plyr)
list_reg <- dlply(df1, .(Surface, Supplier, ParticleSize, T1, T2), function(df) 
  {lm(Shear~Gap+Clearance+Void,data=df)})
#We have indeed five different results
length(list_reg)
#That's how you check out one particular regression, in this case the first
summary(list_reg[[1]])

Функция dlply принимает data.frame (это то, что обозначает d ...), в вашем случае df1, и возвращает список (это то, что обозначает .l ...), в Ваш случай состоит из пяти элементов, каждый из которых содержит результаты одной регрессии.

Внутренне ваш df1 разделен на пять вложенных фреймов данных в соответствии со столбцами, указанными в .(Surface, Supplier, ParticleSize, T1, T2), и функция lm(Shear~Gap+Clearance+Void,data=df) применяется к каждому из этих вложенных фреймов данных.

Чтобы лучше понять, что на самом деле делает * 1015, просто позвоните

list_sub_df <- dlply(df1, .(Surface, Supplier, ParticleSize, T1, T2))

и вы можете просмотреть каждый вложенный фрейм данных, к которому будет применен lm.

И просто общее примечание в конце: бумага , написанная автором пакета Хэдли Уикхемом, действительно великолепна: даже если вы не собираетесь использовать его пакет, все равно очень хорошо получить чувство подхода «разделяй-применяй-комбинируй».

EDIT:

Я только что сделал быстрый поиск, и, как и ожидалось, это уже было лучше объяснено ранее, поэтому обязательно прочитайте этот пост SO .

EDIT2:

Если вы хотите использовать номера столбцов напрямую, попробуйте следующее (взято из этой SO записи):

 list_reg <- dlply(df1, names(df1[, 1:5]), function(df) 
      {lm(Shear~Gap+Clearance+Void,data=df)})