Как установить .libPaths (контрольную точку) на рабочих при выполнении параллельных вычислений в R - PullRequest
Новая
       55

Как установить .libPaths (контрольную точку) на рабочих при выполнении параллельных вычислений в R

0 голосов
/ 11 сентября 2018

Я использую пакет контрольных точек для анализа воспроизводимых данных.Некоторые из вычислений занимают много времени, поэтому я хочу запустить их параллельно.Однако при параллельном запуске контрольная точка не устанавливается на рабочих, поэтому я получаю сообщение об ошибке "нет пакета с именем xy" (потому что он не установлен в моем каталоге библиотеки по умолчанию).

Как я могу убедиться, что каждый работник использует версии пакета в папке контрольных точек?Я пытался установить .libPaths в коде foreach, но это, похоже, не работает.Я также предпочел бы установить контрольную точку / libPaths один раз в глобальном масштабе, а не в каждом вызове foreach.

Другим вариантом может быть изменение файла .Rprofile, но я не хочу этого делать. 

checkpoint::checkpoint("2018-06-01")

library(foreach)
library(doFuture)
library(future)

doFuture::registerDoFuture()
future::plan("multisession")

l <- .libPaths()

# Code to run in parallel does not make much sense of course but I wanted to keep it simple.
res <- foreach::foreach(
  x = unique(iris$Species),
  lib.path = l
) %dopar% {
  .libPaths(lib.path)
  stringr::str_c(x, "_")
}

Ошибка в {: задача 2 не выполнена - "нетпакет называется 'stringr' "

1 Ответ

0 голосов
/ 11 сентября 2018

Автор пакета future здесь.

Передача пути к библиотеке основного процесса R в качестве глобальной переменной libs и установка его для каждого работника с использованием .libPaths(libs)быть достаточно; 

## Use CRAN checkpoint from 2018-07-24 to get future (>= 1.9.0) [1],
## otherwise the below stdout won't be relayed back to the master
## R process, but settings .libPaths() does also work in older
## versions of the future package.
## [1] https://cran.microsoft.com/snapshot/2018-07-24/web/packages/future
checkpoint::checkpoint("2018-07-24")
stopifnot(packageVersion("future") >= "1.9.0")

libs <- .libPaths()
print(libs)
### [1] "/home/hb/.checkpoint/2018-07-24/lib/x86_64-pc-linux-gnu/3.5.1"
### [2] "/home/hb/.checkpoint/R-3.5.1"                                 
### [3] "/usr/lib/R/library"

library(foreach)

doFuture::registerDoFuture()
future::plan("multisession")

res <- foreach::foreach(x = unique(iris$Species)) %dopar% {
  ## Use the same library paths as the master R session
  .libPaths(libs)

  cat(sprintf("Library paths used by worker (PID %d):\n", Sys.getpid()))
  cat(sprintf(" - %s\n", sQuote(.libPaths())))

  stringr::str_c(x, "_")
}

###  - ‘/home/hb/.checkpoint/2018-07-24/lib/x86_64-pc-linux-gnu/3.5.1’
###   - ‘/home/hb/.checkpoint/R-3.5.1’
###   - ‘/usr/lib/R/library’
### Library paths used by worker (PID 9394):
###  - ‘/home/hb/.checkpoint/2018-07-24/lib/x86_64-pc-linux-gnu/3.5.1’
###   - ‘/home/hb/.checkpoint/R-3.5.1’
###   - ‘/usr/lib/R/library’
### Library paths used by worker (PID 9412):
###  - ‘/home/hb/.checkpoint/2018-07-24/lib/x86_64-pc-linux-gnu/3.5.1’
###   - ‘/home/hb/.checkpoint/R-3.5.1’
###   - ‘/usr/lib/R/library’

str(res)
### List of 3
###  $ : chr "setosa_"
###  $ : chr "versicolor_"
###  $ : chr "virginica_"

К вашему сведению, в планах на будущее - , чтобы упростить передачу пути (ов) библиотеки к работникам .

Мои данные:

> sessionInfo()
R version 3.5.1 (2018-07-02)   
Platform: x86_64-pc-linux-gnu (64-bit)   
Running under: Ubuntu 18.04.1 LTS   

Matrix products: default   
BLAS: /usr/lib/x86_64-linux-gnu/blas/libblas.so.3.7.1   
LAPACK: /usr/lib/x86_64-linux-gnu/lapack/liblapack.so.3.7.1   

locale:   
 [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C               LC_TIME=en_US.UTF-8           LC_COLLATE=en_US.UTF-8     LC_MONETARY=en_US.UTF-8   
 [6] LC_MESSAGES=en_US.UTF-8    LC_PAPER=en_US.UTF-8       LC_NAME=C                     LC_ADDRESS=C               LC_TELEPHONE=C            
[11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C          

attached base packages:   
[1] stats     graphics  grDevices utils     datasets  methods   base        

other attached packages:   
[1] foreach_1.4.4   

loaded via a namespace (and not attached):   
[1] drat_0.1.4         compiler_3.5.1     BiocManager_1.30.2 parallel_3.5.1        tools_3.5.1        listenv_0.7.0      doFuture_0.6.0    
[8] codetools_0.2-15   iterators_1.0.10   digest_0.6.15      globals_0.12.1        checkpoint_0.4.5   future_1.9.0
...