Я запускаю команду spark-submit с использованием метода java, т.е. Runtime.getRunTime().exec("<SPARK_SUBMIT_COMMAND>").
Команда spark-submit выглядит следующим образом:
spark-submit \
--driver.java.options "-Dapp.name=abc -Dapp.id=123" \
--class com.abc.test.AppLauncher \
Spark-App.jar \
<Other required application parameters>
Приведенная выше команда работает отлично, если я напрямуювыполнить из терминала unix, из той директории, где находится jar, НО
, когда я запускаю ту же команду из Runtime.getRunTime (). exec ("");Это дает следующее сообщение об ошибке:
Нераспознанная опция: -Dapp.id = 123
Может кто-нибудь помочь мне в этом вопросе?
Я пробовал ниже варианты, но они не работали: --conf "spark.driver.extraJavaOptions = -Dapp.name = abc -Dapp.id = 123" --conf "spark.executor.extraJavaOptions = -Dapp.name = abc -Dapp.id = 123"