Запустить рабочий процесс Oozie из input-event, даже если отсутствует - PullRequest
Новая
       43

Запустить рабочий процесс Oozie из input-event, даже если отсутствует

1 голос
/ 03 июля 2019

У меня есть классический координатор с входным событием на пути HDFS. 

<datasets>
    <dataset name="rawData" frequency="${coord:days(1)}" initial-instance="${startDate}" timezone="UTC">
        <uri-template>
            ${rawData}/${YEAR}${MONTH}${DAY}
        </uri-template>
        <done-flag>_SUCCESS</done-flag>
    </dataset>
</datasets>



<input-events>
    <data-in name="inputRawData" dataset="rawData">
        <instance>${coord:current(0)}</instance>
    </data-in>
</input-events>

Работает хорошо.Теперь я пытаюсь заставить рабочий процесс запускать ДАЖЕ, если input-events не работает нормально после X раз.

Псевдокод: 

Wait inputEvent

If(inputEvent):
    run.

else if(waitTme > 10min):
    run.

Мое приложение будет считывать данные lastAvailable в определенных HiveTables.

Спасибо.

...