HDP Sandbox SQOOP не удалось из-за ошибки разрешения - PullRequest
Новая
       60

HDP Sandbox SQOOP не удалось из-за ошибки разрешения

0 голосов
/ 05 марта 2019

Ниже приведено сообщение об ошибке:

Невозможно переместить исходный hdfs: //sandbox-hdp.hortonworks.com: 8020 / user / maria_dev / DimDepartmentGroup / part-m-00000 в конечные hdfs: //sandbox-hdp.hortonworks.com: 8020 / склад / табличное пространство / управляемый / куст / dbodimemployee / delta_0000001_0000001_0000: В доступе отказано: пользователь = куст, доступ = WRITE, inode = "/ пользователь / maria_dev / DimDepartmentGroup": maria_dev: hdfs: drwxr-xr-x

Я в полном замешательстве.Само сообщение об ошибке показывает, что Maria_dev имеет разрешение на запись в папку inode="/user/maria_dev/DimDepartmentGroup":maria_dev:hdfs:drwxr-xr-x

Что я пропустил?

Ответы [ 2 ]

0 голосов
/ 22 июня 2019

Когда вы запускаете Sqoop, ** обычно ** сначала загружает данные из вашей внешней базы данных, затем сохраняет их как файл, состоящий из нескольких частей, в указанном месте (--target-dir /goldman/yahoo), затем из этого места в таблицу кустов (--hive-table topclient.mpool)

Теперь у вас может быть отказано в доступе на 2 уровне.

1) Если вы видите, что доступ запрещен в расположении файла /goldman/yahoo, то установите для доступа к файлу 777 доступ от имени пользователя hdfs - sudo -u hdfs hadoop fs -chmod 777 /goldman/yahoo

2) Если при создании таблицы вы видите, что доступ запрещен, запустите команду sqoop от имени пользователя hive, поскольку у пользователя hive есть доступ к таблицам кустов, т.е. sudo -u hive sqoop import --connect 'jdbc:sqlserver://test.goldman-invest.data:1433;databaseName=Investment_Banking' --username user_***_cqe --password ****** --table cases --target-dir /goldman/yahoo --hive-import --create-hive-table --hive-table topclient.mpool

0 голосов
/ 06 марта 2019

Наконец-то я получил его на работу.Я вошел в систему как пользователь root и переключился на пользователя улья, используя su - hive.Тогда я смог успешно выполнить команду SQOOP.Ранее я вошел в систему как maria_dev и не мог использовать команду su.У меня нет пароля для пользовательского куста, потому что куст не является обычным пользователем в песочнице HDP.

Тем не менее, мне странно, что пользователю нужен root-доступ для загрузки некоторых данных в HDP HIVE.

...