Spark submit не соблюдает spark.driver.supervise = true, установленный в spark-defaults.conf

Question

С какой проблемой я столкнулся?

• Я указал spark.driver.supervise=true в сценарии spark-defaults.conf
• ${SPARK_HOME}/bin/spark-submit, но не выбрал эту конфигурацию. Он запустил задание / драйвер с spark.driver.supervise=false
• PS: До сих пор я обнаружил, что только свойство spark.driver.supervise не работает способом spark-defaults.conf. Другие свойства, которые я использую, работают отлично.

Как воспроизвести проблему?

• Добавить spark.driver.supervise=true ИЛИ spark.driver.supervise true в spark-defaults.conf
• Отправьте приложение spark, используя ${SPARK_HOME}/bin/spark-submit script
• Задание / драйвер НЕ будет работать в режиме контроля. Чтобы проверить это, перейдите на <DRIVER_URL>:4040/environment/ и проверьте spark.driver.supervise свойство

Чего я ожидал?

• Я надеялся, что по умолчанию, даже когда я не передать аргумент --supervise явно в команду spark-submit, он должен был взять то же самое из spark-defaults.conf
• Я понял, как указать свойства spark по умолчанию в spark-defaults.conf, прочитав spark конфигурация документы .

Что делает эту проблему важной?

• Apache Livy - это клиент REST, который помогает отправлять задания запуска через HTTP-запросы.
• Livy используется очень многими организациями, и AWS EMR, Cloudera использует Livy под капотом.
• Livy внутренне вызывает ${SPARK_HOME}/bin/spark-submit сценарий оболочки.
• Согласно Livy's код , нет способа указать опцию супервизора

Гадкий хак, чтобы заставить Ливий / Спарк-подчинить работать в режиме наблюдения по умолчанию

• открыть ${SPARK_HOME}/bin/spark-submit в редакторе оболочки
• изменить строку exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@" TO exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "--supervise" "$@"
• Обратите внимание на дополнительный аргумент оболочки в двойных кавычках "--supervise". Это делает трюк и Livy / Spark-submit работы.