Распараллеливание SQL-запросов в R - PullRequest
Новая
       19

Распараллеливание SQL-запросов в R

15 голосов
/ 29 марта 2012

У меня есть шесть SQL-запросов, которые я пишу, хотя R, каждый из которых занимает очень много времени (~ 30 минут каждый). Как только возвращается каждый запрос, я манипулирую данными для некоторых стандартных отчетов.

То, что я хотел бы сделать, это использовать мою многоядерную машину для параллельного запуска этих запросов SQL из R.

Я на Windows-машине с БД Oracle. Я следил за сообщением в блоге , чтобы использовать doSNOW и foreach, чтобы попытаться разделить эти запросы, и это лучшее, что я могу найти в stackoverflow .

Мне удалось заставить процесс работать на непараллельной версии% do% foreach, но не на% dopar%. С% dopar% он просто возвращает пустой набор. Ниже приведен код, который устанавливает таблицы и выполняет запросы, чтобы вы могли видеть, что происходит. Заранее извиняюсь, если слишком много базового кода.

Я посмотрел некоторые другие пакеты R, но не увидел очевидного решения. Также, если у вас есть лучший способ управления этим процессом, мне было бы интересно услышать его - просто имейте в виду, что я аналитик, а не ученый. Спасибо! 

#Creating a cluster
library(doSNOW)
cl <- makeCluster(c("localhost","localhost"), type = "SOCK")
registerDoSNOW(cl)

#Connecting to database through RODBC
ch=odbcConnect("",pwd = "xxxxx", believeNRows=FALSE)
#Test connection
odbcGetInfo(ch)

#Creating database tables for example purposes
qryA1 <- "create table temptable(test int)" 
qryA2 <- "insert into temptable(test) values((1))" 
qryA3 <- "select * from temptable" 
qryA4 <- "drop table temptable" 
qryB1 <- "create table temptable2(test int)" 
qryB2 <- "insert into temptable2(test) values((2))" 
qryB3 <- "select * from temptable2" 
qryB4 <- "drop table temptable2"  

sqlQuery(ch, qryA1) 
sqlQuery(ch, qryA2) 
doesItWork <- sqlQuery(ch, qryA3) 
doesItWork
sqlQuery(ch, qryB1) 
sqlQuery(ch, qryB2) 
doesItWork <- sqlQuery(ch, qryB3) 
doesItWork

result = c()
output = c()
databases <- list('temptable','temptable2')


#Non-parallel version of foreach
system.time(
foreach(i = 1:2)%do%{
result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i]))   
output[i] = result
}
) 

output

#Parallel version of foreach

outputPar = c()

system.time(
foreach(i = 1:2)%dopar%{
#Connecting to database through RODBC
ch=odbcConnect(dsn ,pwd = "xxxxxx", believeNRows=FALSE)
#Test connection
odbcGetInfo(ch)
result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i]))   
outputPar[i] = result
}
) 

outputPar

sqlQuery(ch, qryA4)
sqlQuery(ch, qryB4)

1 Ответ

12 голосов
/ 30 марта 2012

Когда вы делаете присваивание outputPar[i] = result внутри последовательного цикла foreach, это нормально (но на самом деле не предполагается использование foreach). Когда вы делаете это назначение в параллельном цикле, это не в порядке. См. http://tolstoy.newcastle.edu.au/R/e10/help/10/04/3237.html на аналогичный вопрос, на который ответил Дэвид Смит в Revolution.

В качестве решения 

system.time(
  outputPar <- foreach(i = 1:2, .packages="RODBC")%dopar%{
#Connecting to database through RODBC
  ch=odbcConnect(dsn ,pwd = "xxxxxx", believeNRows=FALSE)
#Test connection
  odbcGetInfo(ch)
  result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i]))   
  result
}
)
...