От map_dfr до функции применения SparkR - PullRequest
Новая
       53

От map_dfr до функции применения SparkR

0 голосов
/ 05 декабря 2018

В следующем коде я хочу заменить map_dfr из purrr одной из функций применения SparkR для распараллеливания вычислений Shapley на лазурных блоках данных: 

#install.packages("randomForest"); install.packages("tidyverse"); install.packages("iml"); install.packages(SparkR)
library(tidyverse); library(iml); library(randomForest); library(SparkR) 

mtcars1 <- mtcars %>%  mutate(vs = as.factor(vs), id = row_number())

x <- "vs"
y <- paste0(setdiff(setdiff(names(mtcars1), "vs"), "id"), collapse = "+")

rf = randomForest(as.formula(paste0(x, "~ ", y)), data = mtcars1, ntree = 50)

predictor <- Predictor$new(rf, data = mtcars1, y = mtcars1$vs)

shapelyresults <- map_dfr(1:nrow(mtcars), ~(Shapley$new(predictor, x.interest = mtcars1[.x,]) %>% 
                                              .$results %>% 
                                              as_tibble() %>% 
                                              arrange(desc(phi)) %>% 
                                              slice(1:5) %>% 
                                              select(feature.value, phi) %>%
                                              mutate(id = .x)))

Я не смог использовать ответ для следующегоссылка на сайт. Как применить функцию к каждой строке в SparkR? Пожалуйста, помогите.

...