Я пытаюсь запустить задание pyspark, используя SPARK REST API.Я помещаю запрос на почту, но не получаю никакого ответа.
Моя среда выглядит следующим образом:
- Linux Ubuntu 18.04.01 LTS Bionic
- Java версия1.8.0_211-b12 SE Runtime Environment
- Версия Spark 2.4.3
- Версия Python 3.7.1
- Версия Scala 2.11.12
Вот моя попытка:
Я запустил главный и подчиненный узлы: ./sbin/start-all.sh
Понятноследующий интерфейс пользователя в моем браузере:
Я ввожу следующую команду в терминале:
curl -X POST http://192.168.43.88:34481/v1/submissions/create \
--header "Content-Type:application/json;charset=UTF-8" \
--data '{"action":"CreateSubmissionRequest",\
"appArgs":["/home/daniel/Documents/pyfiles/spark_pi.py"],\
"appResource":"file:/home/daniel/Documents/pyfiles/spark_pi.py",\
"clientSparkVersion":"2.4.3",\
"environmentVariables":{"SPARK_ENV_LOADED":"1"},\
"mainClass":"org.apache.spark.deploy.SparkSubmit",\
"sparkProperties":{"spark.driver.supervise":"false",\
"spark.app.name":"Simple App",\
"spark.eventLog.enabled":"true",\
"spark.submit.deployMode":"cluster",\
"spark.master":"spark://daniel-K501UX:7077"}}'
Я не получаю ответ даже после ожидания более 10 минут.Что я делаю не так?