Как преодолеть ошибку исчерпанной векторной памяти при добавлении списка больших data.tables в R? - PullRequest
Новая
       9

Как преодолеть ошибку исчерпанной векторной памяти при добавлении списка больших data.tables в R?

1 голос
/ 27 сентября 2019

Я пытаюсь добавить 68 data.tables каждый сохранен на своем Rdta файл.Размер этих 68 файлов общего 1.57GB.Все data.tables, хотя каждые из которых содержит различные данные (но то же имена столбцов и порядок), один и то же имя:. Combined.data

1005 * В свежей сессии на Macbook (8 Гб оперативной памяти) Яполучаю следующее сообщение об ошибке: Error: vector memory exhausted (limit reached?) Execution halted.Был бы признателен очень много любое предложение о том, как снизить объем памяти, следующий сценарий: 
Sys.setenv('R_MAX_VSIZE'=40000000000)

library("foreach")
library("data.table")

file_list <- list.files("/Volumes/LaCie/FannieMae", pattern=glob2rx("Combined_*Rda"), full.names=TRUE)

Combined_Data <- foreach(k = 1:68, .inorder=FALSE, .packages=c("data.table")) %do% {
                          load(file_list[k])
                          return(Combined_Data)
}

Combined_Data <- rbindlist(Combined_Data, fill=TRUE) # Errors
save(Combined_Data, file = "/Volumes/LaCie/FannieMae/Slice.Rda")

Спасибо

...