Вызовите блокноты R на Databricks из второго блокнота R - PullRequest
Новая
       33

Вызовите блокноты R на Databricks из второго блокнота R

0 голосов
/ 22 декабря 2018

Я пытаюсь вызвать блокнот R для блоков данных при передаче параметров с использованием spark-submit.

Мой подход выглядит следующим образом: 

com <- "spark-submit foo.R p1 & spark-submit foo.R p2"
system(com)

Это должно вызвать скрипт foo.R ипередать параметр p1.

. Это возвращает: 

 sh: 1: spark-submit: not found
 sh: 1: spark-submit: not found

Я ожидаю, что это отправит два задания в кластер Spark.Любая помощь, что я пропускаю?Спасибо!

1 Ответ

0 голосов
/ 03 января 2019

Полагаю, вы пытались выполнить эти команды в блокноте R.Стандартный способ вызова других записных книжек из записной книжки Databricks - dbutils.notebook.run .В настоящее время он работает только в Python и Scala.

Вы можете обойти это, добавив ячейку Python в свой блокнот R: 

%python
dbutils.notebook.run("foo.R", 60, {"argument": "p1"})
dbutils.notebook.run("foo.R", 60, {"argument": "p2"})

В случае, если вы генерируете параметры блокнота p1 и p2 в RВы можете использовать временное представление для передачи их в ячейку Python.

...