У меня кластер Flink, работающий внутри AWS EMR. Я пытаюсь развернуть мой пакетный файл JAR в кластере, используя AWS CLI как часть функции шага. Аргументы к пакетному файлу jar находятся в s3. Но, когда я отправляю команду, она отправляется успешно и во время выполнения возвращает несколько сообщений об ошибках.
Но когда я вхожу в главный узел и отправляю задание, все работает нормально.
Вот так я сдаю работу
flink run -m yarn-cluster -yn 2 -c com.test.MyJob /home/hadoop/flinktest/batch.jar --flink.props.file /home/hadoop/flinktest/flink.props --common.props.file /home/hadoop/flinktest/common.props --job.props.file /home/hadoop/flinktest/testjob.props --date 20181024
Команды CLI AWS, которые не выполняются: -
aws emr add-steps --cluster-id j-XXXXXX --steps Type=CUSTOM_JAR,Name=testjob,ActionOnFailure=CONTINUE,Jar=s3://mybucket/flinkjob/batch.jar,MainClass=com.test.MyJob,Args="flink","run","-m","yarn-cluster","-yn","2","--flink.props.file","s3://mybucket/flinkjob/flink.props","--common.props.file","s3://mybucket/flinkjob/common.props","--job.props.file","s3://mybucket/flinkjob/testjob.props","--date","20181022"
--
aws emr add-steps --cluster-id j-XXXXXX --steps Type=CUSTOM_JAR,Name=testjob,ActionOnFailure=CONTINUE,Jar=s3://mybucket/flinkjob/batch.jar,Args=["flink","run","-m","yarn-cluster","-yn","2","-c","com.test.MyJob","--flink.props.file","s3://mybucket/flinkjob/flink.props","--common.props.file","s3://mybucket/flinkjob/common.props","--job.props.file","s3://mybucket/flinkjob/testjob.props","--date","20181022"]
Что я здесь не так делаю?