Невозможно реорганизовать результаты вложенного цикла foreach в R - PullRequest
Новая
       10

Невозможно реорганизовать результаты вложенного цикла foreach в R

0 голосов
/ 02 июля 2018

Код (более простая версия того, в чем я сейчас застрял) работает безупречно с последовательным бэкэндом: 

regis <-list()
EOFvalues <-array(,c(5,6))
EOFvaluesM <-array(,c(5,6))

 for(j in 1:6) {
  for(k in 1:5){
    loc_no <- (j-1)+k
    regis[[j]]=c(j,k)
    EOFvalues[k,j]=j+k
    EOFvaluesM[k,j]=j*k
}}

с результатами как 1: regis (список):

result 1:a list aka regis

2: EOFvalues ​​(массив):

result 2:an array aka EOFvalues

3: EOFvaluesM (массив):

result 3:an array aka EOFvaluesM

но как только я запускаю его, используя параллельный бэкэнд 

regis <-list()
EOFvalues <-array(,c(5,6))
EOFvaluesM <-array(,c(5,6))

library(doParallel)
cores0=detectCores()
cl<-makeCluster(cores0, type= "SOCK" ,outfile="")
registerDoParallel(cl)

oper <- foreach(j=1:6, .combine='c',.export = c("%dopar%"),  .packages = c("doParallel")) %dopar% {
  foreach(k=1:5,.export = c("%dopar%"),  .packages = c("doParallel")) %do% {
                  regis[[j]]=c(j,k)
                  EOFvalues[k,j]=j+k
                  EOFvaluesM[k,j]=j*k
                  par_res <- list(regis,EOFvalues,EOFvaluesM)
                }

}
stopImplicitCluster()`

Все результаты довольно перепутаны:

see parallel backend result here, stored in the list

(я имею в виду, что я не получаю результаты, как дает серийный бэкэнд, возможно, это из-за моих скудных знаний о параллелизме в R).

Мне нужно получить аналогичный результат, чтобы продолжить работу в моем проекте и сэкономить память и время (поскольку на самом деле EOFvalues ​​и EOFvaluesM имеют порядок (324 625)). Так что я не могу оставить параллельный бэкэнд. Можно ли восстановить тот же результат, используя этот код? Если так, то как?

1 Ответ

0 голосов
/ 02 июля 2018

К счастью, у меня есть простое решение моей проблемы. 

regis <-list()
EOFvalues <-array(,c(5,6))
EOFvaluesM <-array(,c(5,6))

library(doParallel)
cores0=detectCores()
cl<-makeCluster(cores0, type= "SOCK" ,outfile="")
registerDoParallel(cl)

oper_a <- foreach(j=1:6, .combine='rbind',.export = c("%dopar%"),  .packages = c("doParallel")) %dopar% {
  foreach(k=1:5,.export = c("%dopar%"),  .packages = c("doParallel")) %do% {
                  res<-list()
                  res$regis <- c(j,k)
                  res$EOFvalues <- j+k
                  res$EOFvaluesM <- j*k
                  return(res)
                  # regis[[j]]=c(j,k)
                  # EOFvalues[k,j]=j+k
                  # EOFvaluesM[k,j]=j*k
                  # par_res <- list(regis,EOFvalues,EOFvaluesM)
                }

}
################### The Solution ################
final_regis <- list()              #made a list for all the three parameters
final_EOFvalues <- list()         #...so that EOFvalues and EOFvaluesM can be converted from list to matrix
final_EOFvaluesM <- list()

for(i in 1:length(oper_a)){  #Here the above made lists are filled
  final_regis <- c(final_regis,oper_a[[i]][["regis"]])
  final_EOFvalues <- c(final_EOFvalues,oper_a[[i]][["EOFvalues"]])
  final_EOFvaluesM <- c(final_EOFvaluesM,oper_a[[i]][["EOFvaluesM"]])
}
#Unlist to convert them into vectors.Also i don't know why but as.matrix doesn't give the correct dimensions.So I used simply matrix 
mat_Afinal_EOFvalues <- matrix(unlist(final_EOFvalues),nrow=5,byrow=TRUE)
mat_Bfinal_EOFvaluesM <- matrix(unlist(final_EOFvaluesM),nrow=5,ncol=6,byrow=TRUE)
stopImplicitCluster()
#Hurray
...