-Dmapred.job.name не работает с командой s3-dist-cp

Question

Я хотел бы скопировать некоторые файлы из emr-hdfs в корзину s3, используя s3-dist-cp, я пробовал этот cmd из "EMR Master Node":

s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/

эта команда выполняется хорошо, но когда я проверяю имя задания в пользовательском интерфейсе менеджера ресурсов пряжи, оно выглядит так: S3DistCp hdfs:///user/hadoop/abc **->** s3://my_bucket/my_key/

, тогда как ожидаемое имя задания должно было быть my_copy_job

Ценить любую помощь ,!

Примечание: когда я запускаю, имел oop distcp с этой опцией -Dmapred.job.name=my_copy_job, он правильно отображает имя задания в пользовательском интерфейсе RM пряжи, но в итоге задание завершается сбоем

Answer 1

s3-dist-cp не поддерживает свойства стиля -D, установленные во время выполнения, как hadoop distcp. S3 Distcp принимает только конечный набор опций, перечисленных здесь . В дополнение к этим опциям, определенным S3DistCp, он принимает опции интерфейса инструмента generi c.

Но JobName не является одним из них. JobName это в коде S3DistCp , и его нельзя переопределить.