ошибка при попытке сохранить искру датафрейма в файл hdfs - PullRequest
Новая
       131

ошибка при попытке сохранить искру датафрейма в файл hdfs

1 голос
/ 03 мая 2020

я использую Ubuntu

, когда я пытаюсь сохранить кадр данных в HDFS (spark scala): procsed.write.format ("json") .save ("hdfs: // localhost: 54310 / mydata / enedis / POC / обработано. json ")

Я получил эту ошибку

Причина: org. apache .had oop .ip c. RemoteException (org. apache .had oop .security.AccessControlException): В доступе отказано: пользователь = root, доступ = WRITE, inode = "/ mydata / enedis / PO C": hadoop_amine: супергруппа: drwxr -xr-х

1 Ответ

1 голос
/ 04 мая 2020

Вы пытаетесь записать данные как root пользователь, но каталог hdfs (/ mydata / enedis / PO C) с правами доступа hadoop_amine пользователя для записи в каталог.

Изменить разрешений для каталога HDFS, чтобы root пользователь мог писать в каталог /mydata/enedis/POC. 

#login as hadoop_amine user then execute below command
hdfs dfs –chmod -R 777  /mydata/enedis/POC

(Or)

Инициализируйте оболочку spark с пользователем hadoop_amine, после чего не нужно изменять права доступа к каталогу.

...