Могу ли я создать subdag с включенным catchup в dag без catchup? - PullRequest
0 голосов
/ 04 февраля 2019

Моя цель - запланировать задания с EmrCreateJobFlowOperator и EmrAddStepsOperator.А именно, я хочу создать кластер и добавить шаги добавления для каждого запланированного дня (или часа), начиная с указанной даты.По сути, я хочу, чтобы EmrAddStepsOperator было заполнено обратно, но не EmrCreateJobFlowOperator.Чтобы достичь этого, я думаю, что я могу использовать концепцию sub-dag, где родительский dag будет отключен, а дочерний dag - его.Я не хочу создавать кластер EMR для каждого шага.Это возможно?Есть ли другие варианты?

...