Спарк на YARN "user.dir" - PullRequest
       15

Спарк на YARN "user.dir"

0 голосов
/ 29 июня 2018

У меня есть внешний jar API, который ищет зависимости по пути ниже среды

user.dir

, мы можем использовать API в локальном режиме оболочки оболочки, поместив зависимости в каталог вызова. У меня вопрос, когда я отправляю задание в кластер YARN, я не могу использовать API, и он не может разрешить его зависимости во время выполнения, несмотря на то, что я поместил зависимости в HDFS по пути

/ пользователь / имя пользователя /

Что я здесь не так делаю, есть ли способ, которым я могу настроить user.dir в случае задания спарк-отправки.

...