Я начинаю с Oozie на работе, и одна из моих задач включает Спецификация координатора Oozie .
В синхронных наборах данных часть спецификации,Пример приведен как
<dataset name="stats" frequency="${coord:months(3)}"
initial-instance="2009-01-31T20:00Z" timezone="America/Los_Angeles">
<uri-template>
hdfs://foo:9000/usr/app/stats/${YEAR}/${MONTH}/data
</uri-template>
<done-flag>trigger.dat</done-flag>
</dataset>
Я понимаю, что мы проверяем набор данных, который доступен в конце каждого квартала, а также если флаг ('trigger.dat') доступен.
Мне было интересно, можно ли в приведенном выше теге ' uri-template ' дать ссылку http , которая отправляет запрос get, который возвращаетединственная строка, которую мы можем проверить с помощью тега ' done-flag '.Или соединение с базой данных, аналогичное интеграции HCat здесь .
Причина в том, что у нас есть служба REST, у которой есть конечные точки для проверки доступности данных на основе логических флагов, и мы хотим запланироватькоординатор на основе доступности входных данных.
Спасибо за любую помощь!