Отправка спаркра работы из остальных API - PullRequest
Новая
       15

Отправка спаркра работы из остальных API

0 голосов
/ 30 августа 2018

API-интерфейс REST для скрытого Spark (https://gist.github.com/arturmkrtchyan/5d8559b2911ac951d34a) оказался полезным для меня при отправке заданий Scala. Но есть ли способ отправки заданий SparkR через этот API?

Я пробовал, но получил эту ошибку: 

Exception in thread "main" java.lang.ClassNotFoundException:

Он ищет основной класс, но, естественно, у R не будет основного класса. Я просто передаю свой R-файл, как я бы сделал для spark-submit. Ниже полезная нагрузка запроса: 

{
  "action" : "CreateSubmissionRequest",
  "appArgs" : [],
  "appResource" : "file:/home/piyush/global_ui_pipeline.r",
  "clientSparkVersion" : "2.3.1",
  "environmentVariables" : {
    "SPARK_ENV_LOADED" : "1"
  },
  "mainClass" : "",
  "sparkProperties" : {
    "spark.driver.supervise" : "false",
    "spark.app.name" : "sparkR",
    "spark.eventLog.enabled": "true",
    "spark.submit.deployMode" : "cluster",
    "spark.master" : "spark://localhost:6066"
  }
}

Если я удаляю поле mainClass из json, выдается следующая ошибка: 

Malformed request: org.apache.spark.deploy.rest.SubmitRestMissingFieldException: Main class is missing.

Можно ли использовать API скрытого отдыха для отправки заданий sparkR? Если это вообще возможно, то как это можно сделать?

...