Выполнение сценария EMR Shell - PullRequest
Новая
       18

Выполнение сценария EMR Shell

0 голосов
/ 15 марта 2019

Необходимо выполнить сценарий оболочки в уже подготовленном кластере emr. Ниже приведен фрагмент кода Java, который я использую для выполнения. 

HadoopJarStepConfig jarConfig = new HadoopJarStepConfig("s3://ap-south-1.elasticmapreduce/libs/script-runner/script-runner.jar").withArgs("s3://bucket_test/ExecuteRscript.sh", "INPUT=s3://bucket_test/Sample.r");
      StepConfig stepConfig= new StepConfig().withName("Test_Script_Execute").withActionOnFailure("CONTINUE").withHadoopJarStep(jarConfig);
      AddJobFlowStepsResult result = emr.addJobFlowSteps(new AddJobFlowStepsRequest()
              .withJobFlowId(clusterID)
              .withSteps(stepConfig));

Требуется выполнить сценарий оболочки с входным файлом из корзины S3,при выполнении это дает ошибку.

В журнале выполнения сценарий формируется как hadoop jar /mnt/var/lib/hadoop/steps/s-2VV4H7F6OR9NJ/script-runner.jar s3: //bucket_test/ExecuteRscript.sh INPUT= s3: //bigdecisions-dev-data-ingestion/Sample.r и журнал ошибок Команда завершается с ret '2' .Помогите мне решить, как выполнить скрипт оболочки с входным файлом из корзины S3.

Спасибо Prakash

...