R: Ошибка в {: задача 2 не выполнена - «неправильное размещение» - импорт данных с использованием параллельной обработки - PullRequest
0 голосов
/ 10 апреля 2019

Я импортирую данные из SQL Server в R с параллельной обработкой.Это мой код:

period <- function(it){
  res <- c(paste0(start_year + it, '-12-31', sep = ''), paste0(start_year + 1 + it, '-12-31', sep = ''))

}

system.time({
  numCores <- detectCores()
  start_year <-  2016
  registerDoParallel(numCores)

  raz2 <- foreach(i=0:3, .combine = rbind, .multicombine = TRUE) %dopar% {
    dates <- period(i)
    myQuery <- RxSqlServerData(sqlQuery = sprintf("SELECT DATE,CLIENT_NO,MAT_ST
                           FROM DBO.DATA_TABLE 
                           WHERE DATE >='%s' and DATE <= '%s'", dates[[1]], dates[[2]]), connectionString = connStr, returnDataFrame = FALSE)
    rxImport(myQuery)
  }
})

Если я импортирую 12,7 млн ​​наблюдений и 3 переменные, код работает нормально, а результаты производительности:

   user  system elapsed 
   5.47    0.46   33.46 

Однако мне нужно 75 переменных, но когдаЯ делаю это, я получаю сообщение об ошибке:

Ошибка в {: задание 2 не выполнено - «неправильное распределение» Время остановлено на: 34,97 7,33 392,9

Что означает эта ошибка?Как я могу это исправить?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...