Добавление шага синхронизации S3 в EMR

Question

После выполнения всех шагов я хочу выполнить последний шаг, чтобы скопировать данные S3 в другое ведро.

Я не нашел ни одного поддерживаемого скрипта для запуска команд оболочки

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-commandrunner.html

s3-dist-cp поддерживается, и я мог бы использовать его, если бы он позволил мне переопределить данные целевого каталога.

Мне нужно что-то вроде:

{
  action_on_failure   = "CONTINUE"
  name                = "copy s3 data"
  hadoop_jar_step     = [{
     args    = ["bash" , "  aws s3 sync s3://bucket1/data s3://bucket2/data"]
     jar = "command-runner.jar"
    }]
}

Answer 1

Проверить эту ссылку .

Из CLI вы можете использовать этот бит конфигурации для шага:

Type=CUSTOM_JAR,Name="Copy s3 data",ActionOnFailure=CONTINUE,Jar="command-runner.jar",Args=["aws","s3","sync","s3://bucket1/data","s3://bucket2/data"]