Ошибка разрешения при использовании sparklyr с Hadoop - PullRequest
Новая
       29

Ошибка разрешения при использовании sparklyr с Hadoop

1 голос
/ 27 сентября 2019

Я пытаюсь заставить sparklyr работать на кластере с Hadoop.Когда я запускаю sc <- spark_connect(master = "yarn-client", version = "2.8.5")

, я получаю это сообщение об ошибке: 

Error in force(code) : 
  Failed during initialize_connection: org.apache.hadoop.security.AccessControlException: Permission denied: user=rstudio, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:219)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189)
...

Пользователь rstudio - это то, что я создал для сервера RStudio.Как мне исправить разрешения, чтобы заставить его работать?

1 Ответ

0 голосов
/ 27 сентября 2019

Используя hadoop superuser (в вашем случае это hdfs), вам нужно создать домашний каталог HDFS (/user/rstudio) для вашего пользователя rstudio и изменить его владельца, чтобы rstudio стал владельцем.Подробнее см. http://www.hadooplessons.info/2017/12/creating-home-directory-for-user-in-hdfs-hdpca.html?m=1.

...