Шаг AWS EMR не находит банку, импортированную из s3 - PullRequest
Новая
       38

Шаг AWS EMR не находит банку, импортированную из s3

0 голосов
/ 01 декабря 2019

Я пытаюсь запустить приложение spark на aws emr в режиме клиента. Я настроил действие начальной загрузки для импорта необходимых файлов и jar-файла из s3, и у меня есть шаг для запуска одного задания spark.

Однако, когда выполняется шаг, импортированный jar-файл не найден. Вот вывод stderr:

19/12/01 13:42:05 WARN DependencyUtils: локальный jar / mnt / var / lib / hadoop / steps / s-2HLX7KPZCA07B / ~ / myApplicationDirectory не имеетсуществует, пропуская.

Я могу успешно импортировать jar и другие необходимые файлы для приложения из моей корзины s3 в основной экземпляр, я просто импортирую их в home/ec2-user/myApplicationDirectory/myJar.jar с помощью действия начальной загрузки.

Однако я не понимаю, почему этот шаг ищет jar в mnt / var / lib / hadoop / ... и т. Д.

вот соответствующие части конфигурации cli:

--steps '[{"Args":["spark-submit",
"--deploy-mode","client",
"--num-executors","1",
“--driver-java-options","-Xss4M",
"--conf","spark.driver.maxResultSize=20g",
"--class”,”myApplicationClass”,
“~/myApplicationDirectory”,
“myJar.jar",
…
   application specific arguments and paths to folders here 
…],
”Type":"CUSTOM_JAR",

спасибо за любую помощь,

...