Как передать --files для запуска действий с oozie с s3 path - PullRequest
0 голосов
/ 25 октября 2018

В Oozie Spark Action с опцией spark я передаю опцию --files с путем s3.

<spark-opts>--files s3://bucket-name/xyz/abc.conf</spark-opts>
<arg>abc.conf</arg>

Но в искре я получаю исключение файла не найдено.

java.io.FileNotFoundException: abc.conf

Файл abc.conf не попадает в контекст искры.

Я пробовал решение, упомянутое в этой ссылке https://community.hortonworks.com/questions/96747/how-to-pass-files-to-spark-action-with-oozie.html

В чем может быть проблема?Без s3 работает нормально.

...