как сохранить модель ML в sparklyr? - PullRequest
Новая
       8

как сохранить модель ML в sparklyr?

0 голосов
/ 12 июня 2018

Рассмотрим этот простой пример, который обучает модель naive bayes некоторым текстовым данным. 

dtrain <- data_frame(text = c("Chinese Beijing Chinese",
                              "Chinese Chinese Shanghai",
                              "Chinese Macao",
                              "Tokyo Japan Chinese"),
                     doc_id = 1:4,
                     class = c(1, 1, 1, 0))

dtrain_spark <- copy_to(sc, dtrain, overwrite = TRUE)

pipeline <- ml_pipeline(
  ft_tokenizer(sc, input.col = "text", output.col = "tokens"),
  ft_count_vectorizer(sc, input_col = 'tokens', output_col = 'myvocab'),
  ml_decision_tree_classifier(sc, label_col = "class", 
                              features_col = "myvocab", 
                              prediction_col = "pcol",
                              probability_col = "prcol", 
                              raw_prediction_col = "rpcol")
)

Проблема в том, что я подгоняю несколько моделей к циклу, получаю некоторые результаты, но я бы хотелбыть в состоянии сохранить эти модели в списке (или в любом другом, что позволит мне позже использовать эти модели отдельно).

Я пытался использовать обычную технику: создать пустой список и добавить модели в списоккак они созданы.К сожалению, это не работает, как показано ниже 

model_list <- list()

fitmodel <- function(sc, string){
  print(paste('this is iteration', string))
  model <- ml_fit(pipeline, dtrain_spark)
  model_list[[string]] <- model
  #do some other stuff with the model
}
purrr::map(c('stack', 'over', 'flow'), ~fitmodel(sc,.))
[1] "this is iteration stack"
[1] "this is iteration over"
[1] "this is iteration flow"

, однако мой список пуст!: (

> model_list
list()

Что здесь не так? Что можно сделать? Я хотел бы избежать записи на диск, если это возможно.

Спасибо!

1 Ответ

0 голосов
/ 12 июня 2018

Не пытайтесь использовать map для побочных эффектов.Перепишите свою функцию как: 

strings <- c('stack', 'over', 'flow')

fitmodel <- function(sc, string){
  print(paste('this is iteration', string))
  ml_fit(pipeline, dtrain_spark)
}

model_list <- purrr::map(strings, ~fitmodel(sc,.)) %>% setNames(strings)
...