У меня возникают ошибки при попытке использовать s3-distcp для копирования файлов из HDFS в S3 в EMR 5.17
/usr/lib/hadoop/bin/hadoop jar \
/usr/share/aws/emr/s3-dist-cp/lib/s3-dist-cp.jar \
-Dfs.s3a.server-side-encryption-algorithm=AES256 \
--src=hdfs://<ip-addr>:8020/data/s3/dir1/dir2/_SUCCESS \
--dest=s3a://<bucket>/dir1/dir2/_SUCCESS
INFO: Error: java.lang.RuntimeException: Reducer task failed to copy 1 files: \
hdfs://<ip-addr>:8020/data/s3/dir1/dir2/_SUCCESS
Кто-нибудь подозревает, в чем может быть проблема?
Он отлично работает на кластере EMR 5.8.
Спасибо.