Задание Spark выполняется в режиме клиента, но не в кластерном режиме из-за проблем с разрешениями - PullRequest
Новая
       29

Задание Spark выполняется в режиме клиента, но не в кластерном режиме из-за проблем с разрешениями

1 голос
/ 06 ноября 2019

Я запускаю свое искро-задание, используя файл сценария spark-sbumit, как показано ниже 

export SPARK_HOME=/local/apps/analytics/spark-2.4.1-bin-hadoop2.7
$SPARK_HOME/bin/spark-submit \
--master yarn \
--deploy-mode client\

Когда я запускаю его в режиме кластера, т.е. 

--deploy-mode client\

Выдает ошибку какниже: 

INFO yarn.Client:
         client token: N/A
         diagnostics: User class threw exception: org.apache.hadoop.security.AccessControlException: Permission denied: user=analytics, access=WRITE, inode="/tmp/hadoop-egsadmin/nm-local-dir/usercache"
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350)

Как решить эту проблему? что здесь не так?

...