Оззи с Спарк 2.3 на Кубернетес - PullRequest
Новая
       7

Оззи с Спарк 2.3 на Кубернетес

0 голосов
/ 13 мая 2018

хотел бы знать, пробовал ли кто-нибудь Oozie с spark 2.3 на kubernetes

можно ли просто поместить spark 2.3 под sharedlib и использовать spark action с k8smaster в качестве master в xml рабочего процесса?

1 Ответ

0 голосов
/ 31 мая 2018

Oozie 5.0.0 работает с Spark 2.3 на Kubenetes, вам нужно добавить Spark-Kubernetes jar в sharelib, добавив 

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-kubernetes_2.11</artifactId>
      <version>2.3.0</version>
      <scope>compile</scope>
    </dependency>

в sharelib / spark / pom.xml

исоздать дистрибутив oozie с поддержкой Spark 2.3 с помощью команды 

./bin/mkdistro.sh -DskipTests -Pspark-2 -Dspark.version=2.3.0
-Dspark.scala.binary.version=2.11 -Djackson.version=2.6.5

, затем настроить действие Spark с URL Kubernetes: 

    <spark xmlns="uri:oozie:spark-action:1.0">
        <job-tracker>${resourceManager}</job-tracker>
        <name-node>${nameNode}</name-node>
        <master>k8s://https://hostname</master>
        <mode>cluster</mode>
        <name>jobname</name>
        <jar>jarpath</jar>
        <spark-opts>sparkopts</spark-opts>
    </spark>
...