Объедините несколько больших столбцов data.frames в R - PullRequest
Новая
       30

Объедините несколько больших столбцов data.frames в R

0 голосов
/ 24 октября 2018

У меня есть 7 разных фреймов данных, которые я хотел бы объединить.Когда я использую базовую функцию слияния, подобную следующей, я получаю сообщение об ошибке: 

 new <- list(A, B, C, D, E, F, G) %>% Reduce(function(df1, df2, df3, df4, dtf5, df6, df7) left_join(df1,df2,by="ID"), .)

 Error: cannot allocate vector of size 9.9 Gb

Поэтому я хотел бы подойти к этому, выбрав несколько столбцов в каждом для слияния.Наборы данных будут выглядеть так, но с большим количеством столбцов и строк.

A           B        C       D       E       F          G
ID C1 C2    ID C3    ID C4   ID C5   ID C6   ID C7 C8   ID C9
1L 5  7     1L  3    2L  4   1L  10  2L  4   1L  5  9   1L  4
2L 9  3     2L  4    3L  7   2L  4           2L  0  10  2L  9
                             3L  0

После объединения: 

new
ID  C1  C2  C3  C4  C5  C6  C7  C8  C9
1L  5   7   3       10      5   9   4 
2L  9   3   4   4   4   4   0   10  9
3L              7   0

Я попробовал вот что: 

ncombined <- merge(x = A, y = B[,c("C3")], by = "ID", all.x = TRUE)
Reduce(function(dtf1, dtf2) merge(dtf1, dtf2, by = "i", all.x = TRUE),
   list(A[,c("C1", 
"C2")],B[,c("C3")],C[,c("C4")],D[,c("C5")],E[,c("C6")],F[,c("C7", 
"C8")],G[,c("C9")]))

(Из примеров: Одновременное объединение нескольких данных.кадры в списке объединяют только один или два столбца из другого кадра данных в R )

1 Ответ

0 голосов
/ 24 октября 2018

Вероятно, не самый эффективный способ памяти, но вы можете попробовать: 

library(data.table)

data <- list(df1, df2, df3, df4, df5, df6, df7)
lapply(data, setDT)
for (df in data[-1]) df1 <- merge(df1, df, by = "ID", all = TRUE)

И это должно объединить все ваши фреймы данных с df1.

...