Я импортирую данные из SQL Server в R с параллельной обработкой.Это мой код:
period <- function(it){
res <- c(paste0(start_year + it, '-12-31', sep = ''), paste0(start_year + 1 + it, '-12-31', sep = ''))
}
system.time({
numCores <- detectCores()
start_year <- 2016
registerDoParallel(numCores)
raz2 <- foreach(i=0:3, .combine = rbind, .multicombine = TRUE) %dopar% {
dates <- period(i)
myQuery <- RxSqlServerData(sqlQuery = sprintf("SELECT DATE,CLIENT_NO,MAT_ST
FROM DBO.DATA_TABLE
WHERE DATE >='%s' and DATE <= '%s'", dates[[1]], dates[[2]]), connectionString = connStr, returnDataFrame = FALSE)
rxImport(myQuery)
}
})
Если я импортирую 12,7 млн наблюдений и 3 переменные, код работает нормально, а результаты производительности:
user system elapsed
5.47 0.46 33.46
Однако мне нужно 75 переменных, но когдаЯ делаю это, я получаю сообщение об ошибке:
Ошибка в {: задание 2 не выполнено - «неправильное распределение» Время остановлено на: 34,97 7,33 392,9
Что означает эта ошибка?Как я могу это исправить?