Заменить основной сосуд в существующей работе Spark в Databricks - PullRequest
Новая
       9

Заменить основной сосуд в существующей работе Spark в Databricks

0 голосов
/ 31 августа 2018

Я пытаюсь заменить банку задачи на существующей работе спарка в Databricks через REST API Databricks или CLI Databricks (который внутренне использует REST API).

Я просматривал документацию и попробовал конечную точку jobs/reset, которая предоставляет возможность изменить основной файл jar, но ожидается, что он находится в каталоге job-jars, в который я не могу загрузить через libraries/upload конечная точка.

Я экспортировал существующее задание, и банку, похоже, было присвоено динамическое имя при загрузке из пользовательского интерфейса, например: 

"spark_jar_task": {
        "jar_uri": "2660454b_ac2a_4a60_8259_4bfeef8f23e7-MyTask_0_1.jar",
        "main_class_name": "com.mypackage.SomeTask"
}

Итак, мой вопрос: есть ли способ достичь той же функциональности, что и ссылка Jobs -> Upload Jar, предоставляемая через REST API (или CLI)? Мне это нужно для конфигурации Дженкинса.

Я прочитал эту статью, в которой файл jar загружается через скрипт на python. Я бы предпочел использовать API, если это возможно.

...