Как я могу выполнить корреляцию в R одной переменной по уровням факторов, сопоставление по дате

Question

Я пытаюсь определить корреляцию между различными подмножествами переменной (Концентрация, ниже) на основе уровней факторов - в данном случае Lake = (A, B, C) - другими словами, проверить корреляцию между измерения концентрации в точке A по сравнению с измерениями концентрации в точке B, затем B по сравнению с C и A против C.

Проблема в том, что подмножества, основанные на факторах, имеют разную длину, но я хочу включить в корреляцию только наблюдения, которые имеют точное совпадение даты. Я попробовал использовать = 'complete.obs' в функции cor.test, надеясь, что это сработает, но это не сработало.

res <- cor.test(Data$Concentration[Data$Lake=="A"], 
            Data$Concentration[Data$Lake=="B"], 
            use='complete.obs', 
            method = "pearson")

, но я получаю

Error in cor.test.default(Data$Concentration[Data$Lake=="A"],  : 
  'x' and 'y' must have the same length

Пытался найти, но не смог найти решение. Это то, что можно решить с помощью плавления / изменения формы, или, возможно, есть более простое решение, которое я не вижу. Спасибо.

Данные ниже ...

structure(list(Lake = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 
2L, 2L, 2L, 2L, 2L, 3L, 3L, 3L, 3L, 3L), .Label = c("A", "B", 
"C"), class = "factor"), Date = structure(c(2L, 3L, 4L, 5L, 7L, 
8L, 9L, 1L, 3L, 4L, 6L, 7L, 2L, 3L, 4L, 6L, 7L), .Label = c("1970-04-06", 
"1970-04-07", "1970-04-28", "1970-05-04", "1970-05-14", "1970-05-15", 
"1970-05-28", "1970-05-29", "1970-05-30"), class = "factor"), 
    Concentration = c(10L, 20L, 30L, 40L, 50L, 50L, 50L, 100L, 
    200L, 280L, 410L, 500L, 1L, 3L, 8L, 90L, 1200L)), .Names = c("Lake", 
"Date", "Concentration"), class = "data.frame", row.names = c(NA, 
-17L))

Answer 1

Если вам просто нужна корреляция, вы можете сделать что-то вроде:

library(tidyr)
data_wide = Data %>% pivot_wider(names_from="Lake",values_from="Concentration")
data_wide

# A tibble: 9 x 4
  Date           A     B     C
  <fct>      <int> <int> <int>
1 1970-04-07    10    NA     1
2 1970-04-28    20   200     3
3 1970-05-04    30   280     8
4 1970-05-14    40    NA    NA
5 1970-05-28    50   500  1200
6 1970-05-29    50    NA    NA
7 1970-05-30    50    NA    NA
8 1970-04-06    NA   100    NA
9 1970-05-15    NA   410    90

cor(data_wide[,-1],use="p")
          A         B         C
A 1.0000000 0.9973327 0.8805841
B 0.9973327 1.0000000 0.8014733
C 0.8805841 0.8014733 1.0000000

Если вам нужна корреляция и значения p, например, с помощью cor.test, тогда немного больше кодирования:

pw = combn(levels(Data$Lake),2)
pw
     [,1] [,2] [,3]
[1,] "A"  "A"  "B" 
[2,] "B"  "C"  "C" 

library(broom)
library(dplyr)
pairwise_c = apply(pw,2,function(i){
tidy(cor.test(data_wide[[i[1]]],data_wide[[i[2]]])))
})

cbind(data.frame(t(pw)),bind_rows(pairwise_c))

  X1 X2  estimate statistic    p.value parameter
1  A  B 0.9973327 13.663956 0.04650826         1
2  A  C 0.8805841  2.627897 0.11941589         2
3  B  C 0.8014733  1.895312 0.19852670         2
                                method alternative   conf.low conf.high
1 Pearson's product-moment correlation   two.sided         NA        NA
2 Pearson's product-moment correlation   two.sided -0.5238283 0.9974832
3 Pearson's product-moment correlation   two.sided -0.6948359 0.9956362

Answer 2

Использование dplyr / tidyr:

Data <- Data %>%
  pivot_wider(names_from="Lake", values_from="Concentration") %>%
  drop_na()

дает вам

# A tibble: 3 x 4
  Date           A     B     C
  <fct>      <int> <int> <int>
1 1970-04-28    20   200     3
2 1970-05-04    30   280     8
3 1970-05-28    50   500  1200

Теперь получите желаемые корреляции, набрав

cor.test(Data$A, Data$B, method = "pearson")