Координатор Oozie создает 12 рабочих процессов для одного действия - PullRequest
Новая
       50

Координатор Oozie создает 12 рабочих процессов для одного действия

0 голосов
/ 09 мая 2019

ребята.

Я использую HDP Sandbox от Hortonwork.Я настроил простое задание на искру (которое берет текстовый файл и выводит в другой файл число слов).

В любом случае, у меня проблемы с координатором (в oozie), когда я планирую повторять задание через 5 минут.Каждый раз, когда coodrinator создает 12 одинаковых рабочих процессов, я не знаю почему.Вот моя конфигурация координатора: 

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<coordinator-app xmlns="uri:oozie:coordinator:0.5" end="2020-01-02T17:53Z" frequency="${coord:minutes(5)}" name="Simple Spark Scala Coordinator" start="2019-05-01T17:53Z" timezone="GMT+04:00">
    <action>
        <workflow>
            <app-path>/user/admin/tmp/workflow.xml</app-path>
        </workflow>
    </action>
</coordinator-app>

, а вот конфигурация рабочего процесса: 

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<workflow-app xmlns="uri:oozie:workflow:0.5" name="Spark Scala Example Workflow">
    <start to="spark_scala_example"/>
    <action name="spark_scala_example">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${resourceManager}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                <delete path="${nameNode}/user/${wf:user()}/tmp/result_large"/>
            </prepare>
            <master>local</master>
            <name>Spark Scala Example Action</name>
            <class>com.example.App</class>
            <jar>${nameNode}/user/${wf:user()}/tmp/spark-scala-example-1.0-SNAPSHOT.jar</jar>
            <arg>${nameNode}/user/${wf:user()}/tmp/test_large.txt</arg>
            <arg>${nameNode}/user/${wf:user()}/tmp/result_large</arg>
        </spark>
        <ok to="end"/>
        <error to="kill"/>
    </action>
    <kill name="kill">
        <message>${wf:errorMessage(wf:lastErrorNode())}</message>
    </kill>
    <end name="end"/>
</workflow-app>

У вас, ребята, есть идеи, почему он создает 12 копий одного и того же рабочего процесса?

1 Ответ

1 голос
/ 10 мая 2019

Вы проверяли, совпадает ли дата во всех этих 12 рабочих процессах?

Если вы решите установить дату начала в прошлом, Oozie компенсирует отсутствующие рабочие процессы. Не уверен, почему только 12

...