Этот вопрос похож на мой другой вопрос , но на этот раз для Microsoft Azure.
У нас есть файл конфигурации, который должен находиться в classpath драйвера (и, возможно, исполнителей)).
При определении кластера Databricks в Microsoft Azure я настраивал пользовательские конфиги Spark: spark.executor.extraClassPath и spark.driver.extraClassPath. Я указал оба пути на каталог в dbfs, который содержит наш конфиг. Но как наполовину подозревали, это не работает.
Вопрос в том, какой тип путей поддерживается этими настройками Spark? Если это только локальная файловая система, как я могу получить свой конфигурационный файл в драйвере (и исполнителях)?