Oozie не принимает искры экстраклассовых банок при запуске искры представить действие - PullRequest
0 голосов
/ 15 февраля 2019

Я запускаю искро-отправку в oozie.Когда я даю spark.driver.extraClasspath или spark.executor.extraClasspath в команде spark-submit, он работает нормально.Но с oozie, когда я даю эти опции в теге, он не работает.

Например

- conf "spark.executor.extraClassPath = / usr / hdp / current / phoenix-client /phoenix-4.7.0.2.6.3.0-235-spark2.jar: /usr/hdp/current/phoenix-client/phoenix-client.jar "

Выше работает отлично в команде spark-submit, но не вoozie.В oozie, если я скопирую эти jar-файлы в workflow / lib, он работает нормально.

, даже --file /etc/hbase/conf/hbase-site.xml также не работает.Я передаю hbase-site.xml из workflow / lib и это не правильный путь

Тогда какой смысл иметь опцию spark.executor.extraClasspath в oozie?

...