Как передать дополнительные аргументы в spark.lapply в SparkR? - PullRequest
Новая
       16

Как передать дополнительные аргументы в spark.lapply в SparkR?

1 голос
/ 30 апреля 2019

Я новичок в Spark. Я пытаюсь преобразовать код R параллельно в SparkR. Есть ли функция, похожая на clusterExport со Spark? Например, предположим, у меня есть следующий код, есть ли способ передачи "y" для функции spark.lapply? 

library(SparkR)

a = data.frame(x = c(1,2,3,4,5))

fn_a <- function() {
  sparkR.session()
  y = 2
  result = spark.lapply(a, fn_b) # <- pass y here
  sparkR.session.stop()
  print(result)
}

fn_b <- function(x) {
  return(x * y)
}

fn_a()

#Expected results
2  4  6  8 10

Спасибо

...