Вызовите блокноты R на Databricks из второго блокнота R

Question

Я пытаюсь вызвать блокнот R для блоков данных при передаче параметров с использованием spark-submit.

Мой подход выглядит следующим образом:

com <- "spark-submit foo.R p1 & spark-submit foo.R p2"
system(com)

Это должно вызвать скрипт foo.R ипередать параметр p1.

. Это возвращает:

 sh: 1: spark-submit: not found
 sh: 1: spark-submit: not found

Я ожидаю, что это отправит два задания в кластер Spark.Любая помощь, что я пропускаю?Спасибо!

Answer 1

Полагаю, вы пытались выполнить эти команды в блокноте R.Стандартный способ вызова других записных книжек из записной книжки Databricks - dbutils.notebook.run .В настоящее время он работает только в Python и Scala.

Вы можете обойти это, добавив ячейку Python в свой блокнот R:

%python
dbutils.notebook.run("foo.R", 60, {"argument": "p1"})
dbutils.notebook.run("foo.R", 60, {"argument": "p2"})

В случае, если вы генерируете параметры блокнота p1 и p2 в RВы можете использовать временное представление для передачи их в ячейку Python.