Как я могу использовать read.big.matrix для чтения нескольких файлов в r?

Question

У меня огромный набор данных, состоящий из сотен файлов, и мне нужно использовать пакет bigmemory (или аналогичный) для чтения данных. Как я могу использовать read.big.matrix с несколькими файлами?

Answer 1

Возможно, можно загружать файлы итеративно из рабочего каталога, а затем объединять матрицы.

setwd(path_to_files)
files <- list.files(path = ".")
number_of_matrices <- length(files)

#For faster computation set number of matrices
my_matrices <- vector("list", length = S)

for (file in 0:length(files)){
  my_matrices[file] <- read.big.matrix(filename=files[file])
}

#Assuming same columns this will merge them to one single:
massive_matrix <- do.call("rbind", my_matrices)

Не тестировали код, но это может дать вам представление о том, как можно решить проблему?