Что делает тег input-events в файле координатора.xml? - PullRequest
Новая
       61

Что делает тег input-events в файле координатора.xml?

0 голосов
/ 21 сентября 2019

Я пытаюсь понять файлordinator.xml, но не могу понять, что делает тег input-events. Не могли бы вы помочь мне понять, когда этот рабочий процесс будет запущен. 

<coordinator-app name="MY_APP" frequency="5" start="2009-02-01T00:00Z" end="2009-02-07T00:00Z" timezone="UTC" xmlns="uri:oozie:coordinator:0.1">
   <datasets>
      <dataset name="input1" frequency="5" initial-instance="2009-01-01T00:00Z" timezone="UTC">
         <uri-template>hdfs://localhost:9000/tmp/revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}/${MINUTE}</uri-template>
      </dataset>
   </datasets>
   <input-events>
      <data-in name="coordInput1" dataset="input1">
          <start-instance>${coord:minutes(-10)}</start-instance>
          <end-instance>${coord:current(-5)}</end-instance>
      </data-in>
   </input-events>
   <action>
      <workflow>
         <app-path>hdfs://localhost:9000/tmp/workflows</app-path>
      </workflow>
   </action>     
</coordinator-app>

1 Ответ

0 голосов
/ 25 сентября 2019

<input-events> определяет, какие наборы данных следует учитывать для прогона, предоставляя диапазон экземпляров набора данных с <start-instance> и <end-instance>.Эти экземпляры набора данных определены в вашем блоке <dataset>.

${coord:current(0)} - это набор данных, который является ближайшим по времени, но не позднее, чем номинальное время координатора.${coord:current(-1)} относится к набору данных перед ${coord:current(0)}.

Я не уверен, что ваш пример правильный, потому что он использует ${coord:minutes()}.Я считаю, что только current(n) или latest(n) поддерживается внутри <input-events>.Даже если поддерживаются минуты (n), ваш диапазон не выглядит правильным, потому что ваш начальный и конечный интервал задом наперед.Это означает, что coord:minutes(-10) ближе к настоящему, чем coord:current(-5), если частота вашего набора данных составляет 5 минут.

По моему опыту, это самая сложная тема в Oozie, и я сам не освоил эту концепцию.Я рекомендую книгу O'Reilly Media Apache Oozie .Это даст вам гораздо больше подробностей об этой теме.

...