Может ли SparkSubmit переопределить системное свойство oozie.action.output.properties? - PullRequest
Новая
       11

Может ли SparkSubmit переопределить системное свойство oozie.action.output.properties?

0 голосов
/ 18 января 2019

Окружающая среда:

  • Узи 4,2
  • Hadoop 2.7

Я предполагаю, что Конфигурация Oozie содержит свойства, загруженные на сервер Oozie при его запуске. Если это так, то все еще возможно для задания рабочего процесса - например, задания Java, которое использует SparkSubmit - чтобы указать свое собственное переопределение для системного свойства oozie.action.output.properties? То есть спецификация рабочего процесса будет иметь следующие строки: 

  <main-class>org.apache.spark.deploy.SparkSubmit</main-class>
  <java-opts>-Doozie.action.output.properties="/path/to/oozie-wf-app/exports.properties"</java-opts>

У кого-нибудь это работает? Если нет, то где предпочтительно установить системное свойство Java oozie.action.output.properties?

...