В соответствии с документацией spark , свойства, установленные в приложении с помощью SparkConf, имеют приоритет над свойствами, установленными с помощью spark-submit.Но используя оба способа настройки, я могу наблюдать две странные вещи:
spark.app.name, установленный в приложении, переопределяется значением по умолчанию (именем класса), если я использую хотя бы один параметр --conf в spark-submit spark.driver.extraClassPath/spark.executor.extraClassPath, установленный в SparkConf, добавляет jar-файлы в classpath пользователя, однако, используя ту же опцию в spark-submit, помещает их в системный classpath, поэтому логика выполнения может существенно измениться