Как сохранить файлы параллельно без автоматического увеличения размера файла? - PullRequest
Новая
       6

Как сохранить файлы параллельно без автоматического увеличения размера файла?

9 голосов
/ 16 февраля 2020

У меня есть 2 скрипта, которые делают точно так же.

Но один сценарий создает 3 файла RData, который весит 82,7 КБ, а другой сценарий создает 3 файла RData, который весит 120 КБ.

первый из них не имеет параллели: 

library("plyr")
ddply(.data = iris,
      .variables = "Species",
      ##.parallel=TRUE,##Without parallel
      .fun = function(SpeciesData){

      #Create Simple Model -------------------------------------------------------------  
      Model <- lm(formula = "Sepal.Length~Sepal.Width+Petal.Length+Petal.Width",data = SpeciesData)

      #Save The Model -------------------------------------------------------------               
       save(Model,
            compress = FALSE,
            file = gsub(x =  "Species.RData",
                        pattern = "Species",
                        replacement = unique(SpeciesData$Species)))

 })

Второй параллельный: 

library("plyr")
doSNOW::registerDoSNOW(cl<-snow::makeCluster(3))
ddply(.data = iris,
      .variables = "Species",
      .parallel=TRUE,##With parallel
      .fun = function(SpeciesData){

      #Create Simple Model -------------------------------------------------------------  
      Model <- lm(formula = "Sepal.Length~Sepal.Width+Petal.Length+Petal.Width",data = SpeciesData)

      #Save The Model -------------------------------------------------------------               
       save(Model,
            compress = FALSE,
            file = gsub(x =  "Species.RData",
                        pattern = "Species",
                        replacement = unique(SpeciesData$Species)))

 })
snow::stopCluster(cl)

второй скрипт создает файлы, которые весят на 42% больше.

Как сохранить файлы параллельно без автоматического увеличения размера файла?

Ответы [ 2 ]

3 голосов
/ 19 февраля 2020

Я не использовал ddply для распараллеливания сохраняемых объектов, поэтому я предполагаю, что файл становится намного больше, потому что когда вы сохраняете объект модели, он также несет некоторую информацию о среде, из которой он был сохранен.

Итак, используя приведенный выше код ddply, у меня есть следующие размеры: 

sapply(dir(pattern="RData"),file.size)
setosa.RData versicolor.RData  virginica.RData 
       36002            36002            36002

Существует два варианта, один из которых - использовать purrr / furrr: 

library(furrr)
library(purrr)

func = function(SpeciesData){
  Model <- lm(formula = "Sepal.Length~Sepal.Width+Petal.Length+Petal.Width",data = SpeciesData)
  save(Model,
       compress = FALSE,
       file = gsub(x =  "Species.RData",
                   pattern = "Species",
                   replacement = unique(SpeciesData$Species)))
}

split(iris,iris$Species) %>% future_map(func)

sapply(dir(pattern="RData"),file.size)
    setosa.RData versicolor.RData  virginica.RData 
           25426            27156            27156

Или использовать saveRDS (и ddply?), Поскольку у вас есть только один объект для сохранения: 

ddply(.data = iris,
      .variables = "Species",
      .parallel=TRUE,##With parallel
      .fun = function(SpeciesData){
        Model <- lm(formula = "Sepal.Length~Sepal.Width+Petal.Length+Petal.Width",data = SpeciesData)
        saveRDS(Model,
             gsub(x =  "Species.rds",
                         pattern = "Species",
                         replacement = unique(SpeciesData$Species)))

      })

sapply(dir(pattern="rds"),file.size)
    setosa.rds versicolor.rds  virginica.rds 
          6389           6300           6277

Вы получите readRDS вместо load, чтобы получить файл: 

m1 = readRDS("setosa.rds")
m1
Call:
lm(formula = "Sepal.Length~Sepal.Width+Petal.Length+Petal.Width", 
    data = SpeciesData)

Coefficients:
 (Intercept)   Sepal.Width  Petal.Length   Petal.Width  
      2.3519        0.6548        0.2376        0.2521

Мы можем взглянуть на коэффициенты в сравнении с объектом rda: 

m2 = get(load("setosa.RData"))
m2

Call:
lm(formula = "Sepal.Length~Sepal.Width+Petal.Length+Petal.Width", 
    data = SpeciesData)

Coefficients:
 (Intercept)   Sepal.Width  Petal.Length   Petal.Width  
      2.3519        0.6548        0.2376        0.2521

Объекты не идентичны из-за частей среды, но с точки зрения предсказания или других вещей, для которых мы обычно его используем, это работает: 

identical(predict(m1,data.frame(iris[1:10,])),predict(m2,data.frame(iris[1:10,])))
2 голосов
/ 21 февраля 2020

Как уже упоминалось, может быть небольшое количество информации об окружающей среде, которая сохраняется в файлах или аналогичной, которую вы, вероятно, не заметите, за исключением того, что файлы настолько малы.

Если вас интересует только размер файла, попробуйте сохранить модели в одном списке, а затем сохранить его в одном файле. ddply может обрабатывать только data.frame в результате выполнения функции, поэтому вместо этого мы должны использовать dlply, чтобы сообщить ему о сохранении результатов в списке. При этом сохраняется только один файл размером 60 КБ.

Вот пример того, о чем я говорю: 

library("plyr")
doSNOW::registerDoSNOW(cl<-snow::makeCluster(3))
models<-dlply(.data = iris,
      .variables = "Species",
      .parallel=TRUE,##With parallel
      .fun = function(SpeciesData){

        #Create Simple Model -------------------------------------------------------------  
        lm(formula = Sepal.Length~Sepal.Width+Petal.Length+Petal.Width, data = SpeciesData)
      })
snow::stopCluster(cl)

save(models, compress= FALSE, file= 'combined_models')
...