Эквивалент Egg / JAR для проектов Sparklyr - PullRequest
Новая
       71

Эквивалент Egg / JAR для проектов Sparklyr

1 голос
/ 16 июня 2020

У нас есть проект SparklyR, который настроен следующим образом. 

# load functions
source('./a.R')
source('./b.R')
source('./c.R')
....

# main script computations  
sc -> spark_connect(...)
read_csv(sc, s3://path)

....

Запуск его на EMR 

spark-submit --deploy-mode client s3://path/to/my/script.R
* 1006 возьмем один сценарий R, но мы получаем функции из нескольких файлов. Есть ли способ упаковать это как файл яйца / баночки со всеми файлами и передать его в качестве аргумента для spark-submit?
...