SparkLauncher запускает работу Spark с другим пользователем - PullRequest
0 голосов
/ 18 июня 2019

Я использую рабочий процесс oozie, в котором я использую SparkLauncher для запуска задания зажигания с конкретным пользователем, поэтому я установил пользователя в конфигурации средства запуска, как показано ниже.

Map<String, String> envParams = new HashMap<>();
envParams.put("HADOOP_USER_NAME", "child_worker");
SparkLauncher launcher = new SparkLauncher(envParams);

Но задание spark не запускается с пользователем child_worker .Я получаю доступ к связанному исключению, что пользователь, который запускает задание Oozie, не может получить доступ к каталогу child_worker.

Application application_1538580260012_381055 failed 2 times due to AM Container for appattempt_1538580260012_381055_000002 exited with exitCode: -1000
For more detailed output, check application tracking page:http://namenode1:8088/proxy/application_1538580260012_381055/Then, click on links to logs of each attempt.
Diagnostics: Permission denied: user=parent_user, access=EXECUTE, inode="/user/child_worker/.sparkStaging/application_1538580260012_381055":child_worker:hadoop:drwx------
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...