Как отправить работу на спарк используя API пряжи? Я хочу использовать YARN REST API для отправки работы на спарк - PullRequest
Новая
       23

Как отправить работу на спарк используя API пряжи? Я хочу использовать YARN REST API для отправки работы на спарк

0 голосов
/ 21 октября 2019

Я создаю интерфейс для запуска искровых заданий и проверки статуса заданий.

Я не могу использовать сторонние библиотеки, такие как Livy, сервер искровых заданий. Я хочу создать API-интерфейсы для запуска и отправки заданий в спарк-кластер через REST API.

1 Ответ

0 голосов
/ 21 октября 2019

Вы можете использовать сервер заданий spark - https://github.com/spark-jobserver/spark-jobserver

Обновление -

Я не видел, что сервер заданий spark не может быть использован, вы можете использовать ниже

Подача работы 

curl -X POST http://spark-cluster-ip:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
  "action" : "CreateSubmissionRequest",
  "appArgs" : [ "myAppArgument1" ],
  "appResource" : "file:/myfilepath/spark-job-1.0.jar",
  "clientSparkVersion" : "1.5.0",
  "environmentVariables" : {
    "SPARK_ENV_LOADED" : "1"
  },
  "mainClass" : "com.mycompany.MyJob",
  "sparkProperties" : {
    "spark.jars" : "file:/myfilepath/spark-job-1.0.jar",
    "spark.driver.supervise" : "false",
    "spark.app.name" : "MyJob",
    "spark.eventLog.enabled": "true",
    "spark.submit.deployMode" : "cluster",
    "spark.master" : "spark://spark-cluster-ip:6066"
  }
}

Статус работы 

curl http://spark-cluster-ip:6066/v1/submissions/status/driver-20151008145126-0000
...