Добавить файл conf в classpath в Microsoft Azure

Question

Этот вопрос похож на мой другой вопрос , но на этот раз для Microsoft Azure.

У нас есть файл конфигурации, который должен находиться в classpath драйвера (и, возможно, исполнителей)).

При определении кластера Databricks в Microsoft Azure я настраивал пользовательские конфиги Spark: spark.executor.extraClassPath и spark.driver.extraClassPath. Я указал оба пути на каталог в dbfs, который содержит наш конфиг. Но как наполовину подозревали, это не работает.

Вопрос в том, какой тип путей поддерживается этими настройками Spark? Если это только локальная файловая система, как я могу получить свой конфигурационный файл в драйвере (и исполнителях)?

Answer 1

Обратите внимание, что параметр чувствителен к регистру, и я думаю, что вы должны установить его в локальный каталог и использовать скрипт инициализации, чтобы скопировать его из dbfs (используя синтаксис / dbfs / path), чтобы он был доступен с низкой задержкой изJVM.