Подтверждение подачи искры выполнено успешно, но ошибка оператора воздушного потока с кодом выхода 127 - PullRequest
Новая
       13

Подтверждение подачи искры выполнено успешно, но ошибка оператора воздушного потока с кодом выхода 127

0 голосов
/ 31 августа 2018

Я использую оператор потока воздуха для запуска задания отправки искры. Работа искры принимает некоторые параметры. Последний параметр - это строка, которую можно преобразовать во вложенный массив с помощью «,» и «|» Трещина. Пример отправки команды: 

spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz|ss:aaa,bbb>

Странно то, что, когда работа с искрой заканчивается, выдается: 

final status: SUCCEEDED
Command exited with return code 127
ERROR - Bash command failed

Кто-нибудь сталкивался с такой же проблемой и как мне ее решить? У меня есть много других заданий воздушного потока, в которых для запуска команды spark submit используется оператор bash, таких проблем не было.

1 Ответ

0 голосов
/ 31 августа 2018

Выход из канала в последнем параметре, как показано ниже: 

spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz\|ss:aaa,bbb>

OR 

spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> "<xx:yyy,zzz|ss:aaa,bbb>"
...