Удалить столбцы с одинаковой дисперсией после dplyr :: group_by и перед prcomp - PullRequest
1 голос
/ 24 сентября 2019

Я выполняю pcas для нескольких групп в большом наборе данных, используя dplyr.Когда данные разделяются на группы с помощью функции group_by, некоторые переменные имеют одинаковую дисперсию, поэтому pca не может работать.Как я могу удалить любые столбцы с одинаковой дисперсией, а затем выполнить prcomp с тем, что осталось?Фиктивные данные ниже.Спасибо.

Добавить равную дисперсию для сетоса - Sepal.Length.

library(dplyr)

iris[1:50,1]<-0

Попытка запустить pcas с равной дисперсией

> iris%>%
+   group_by(Species)%>%
+   group_map(~prcomp(.[,1:4], scale.=T))
Error in prcomp.default(.[, 1:4], scale. = T) : 
  cannot rescale a constant/zero column to unit variance

Проверка на равную дисперсию

> iris%>%
+   group_by(Species)%>%
+   group_map(~names(.[,1:4][, sapply(.[,1:4], function(v) var(v, na.rm=TRUE)==0)]))
[[1]]
[1] "Sepal.Length"

[[2]]
character(0)

[[3]]
character(0)

Попытка исключить столбец равной дисперсии и выполнить pcas

> iris%>%
+   group_by(Species)%>%
+   group_map(~sapply(.[,1:4], function(v) var(v, na.rm=TRUE)>0))%>%
+   group_map(~prcomp(.[,1:4], scale.=T))
Error in UseMethod("group_split") : 
  no applicable method for 'group_split' applied to an object of class "list"

1 Ответ

1 голос
/ 24 сентября 2019

Мы можем использовать map_if, который проверяет условие, а затем применяет функцию.

library(tidyverse)

iris %>%
   group_split(Species, keep = FALSE) %>%
   map_if(~all(map_dbl(.x, var) != 0), ~prcomp(.x, scale. = TRUE),
          .else = function(x) return(NULL))

#[[1]]
#NULL

#[[2]]
#Standard deviations (1, .., p=4):
#[1] 1.7106550 0.7391040 0.6284883 0.3638504

#Rotation (n x k) = (4 x 4):
#                    PC1        PC2        PC3        PC4
#Sepal.Length -0.4823284 -0.6107980  0.4906296  0.3918772
#Sepal.Width  -0.4648460  0.6727830  0.5399025 -0.1994658
#Petal.Length -0.5345136 -0.3068495 -0.3402185 -0.7102042
#Petal.Width  -0.5153375  0.2830765 -0.5933290  0.5497778

#[[3]]
#Standard deviations (1, .., p=4):
#[1] 1.5667601 0.9821979 0.6725116 0.3581596

#Rotation (n x k) = (4 x 4):
#                   PC1        PC2         PC3         PC4
#Sepal.Length 0.5544765 -0.4324382  0.01239569  0.71091442
#Sepal.Width  0.4755317  0.4401787  0.75272551 -0.11626101
#Petal.Length 0.5501112 -0.4296642 -0.20236407 -0.68688796
#Petal.Width  0.4047258  0.6592637 -0.62633812  0.09627561

Если мы хотим удалить только столбцы с 0 дисперсией, а не всю группу, мы можем использовать select_if для выбора столбцов

iris %>%
  group_split(Species, keep = FALSE) %>%
  map(~.x %>% select_if(~var(.) != 0) %>% prcomp(scale. = TRUE))
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...