ACL не поддерживаются хотя бы в одной файловой системе: Distcp HDFS - PullRequest
Новая
       96

ACL не поддерживаются хотя бы в одной файловой системе: Distcp HDFS

0 голосов
/ 24 августа 2018 
 As per distcp documentation -> 
If -pa is specified, DistCp preserves the permissions also because 
ACLs are a super-set of permissions.
but hadoop distcp -pa -delete -update /src/path /dest/path/
is failing with ACLs not supported on at least one file system.
Complete logs below

Выполнение вышеуказанной команды не выполняется.Ожидается, что файл hdfs будет скопирован из источника в место назначения с помощью ACL.

org.apache.hadoop.tools.CopyListing $ AclsNotSupportedException: ACL не поддерживаются для файловой системы: hdfs: //10.20.0.7: 8020 в org.apache.hadoop.tools.util.DistCpUtils.checkFileSystemAclSupport (DistCpUtils.java:381) в org.apache.hadoop.tools.DistCp.configureOutputFormat (DistCp.java:353) в org.apache.hadoop.tools.DistDistCp.java:247) в org.apache.hadoop.tools.DistCp.createAndSubmitJob (DistCp.java:176) в org.apache.hadoop.tools.DistCp.execute (DistCp.java:155) в org.apache.hadoop.tools.DistCp.run (DistCp.java:128) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:76) в org.apache.hadoop.tools.DistCp.main (DistCp.java:462)

1 Ответ

0 голосов
/ 24 августа 2018 
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<insecure_hdp>/test01.txt hdfs://<secure_hdp>/user/hdfs

Обязательно запустите эту команду из защищенного кластера, если у вас есть.

ИЛИ

Установите следующее значение в core-site.xml и попробуйте снова: 

<property> 
  <name>ipc.client.fallback-to-simple-auth-allowed</name>
  <value>true</value>  
</property>
...