Spark REST API Post Request не возвращает ответ - PullRequest
1 голос
/ 20 июня 2019

Я пытаюсь запустить задание pyspark, используя SPARK REST API.Я помещаю запрос на почту, но не получаю никакого ответа.

Моя среда выглядит следующим образом:

  • Linux Ubuntu 18.04.01 LTS Bionic
  • Java версия1.8.0_211-b12 SE Runtime Environment
  • Версия Spark 2.4.3
  • Версия Python 3.7.1
  • Версия Scala 2.11.12

Вот моя попытка:

  1. Я запустил главный и подчиненный узлы: ./sbin/start-all.sh enter image description here

  2. Понятноследующий интерфейс пользователя в моем браузере: enter image description here

  3. Я ввожу следующую команду в терминале:

curl -X POST http://192.168.43.88:34481/v1/submissions/create \
     --header "Content-Type:application/json;charset=UTF-8" \
     --data '{"action":"CreateSubmissionRequest",\
              "appArgs":["/home/daniel/Documents/pyfiles/spark_pi.py"],\
              "appResource":"file:/home/daniel/Documents/pyfiles/spark_pi.py",\
              "clientSparkVersion":"2.4.3",\
              "environmentVariables":{"SPARK_ENV_LOADED":"1"},\
              "mainClass":"org.apache.spark.deploy.SparkSubmit",\
              "sparkProperties":{"spark.driver.supervise":"false",\
              "spark.app.name":"Simple App",\
              "spark.eventLog.enabled":"true",\
              "spark.submit.deployMode":"cluster",\
              "spark.master":"spark://daniel-K501UX:7077"}}'

enter image description here

Я не получаю ответ даже после ожидания более 10 минут.Что я делаю не так?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...