Моя цель - запланировать задания с EmrCreateJobFlowOperator
и EmrAddStepsOperator
.А именно, я хочу создать кластер и добавить шаги добавления для каждого запланированного дня (или часа), начиная с указанной даты.По сути, я хочу, чтобы EmrAddStepsOperator
было заполнено обратно, но не EmrCreateJobFlowOperator
.Чтобы достичь этого, я думаю, что я могу использовать концепцию sub-dag, где родительский dag будет отключен, а дочерний dag - его.Я не хочу создавать кластер EMR для каждого шага.Это возможно?Есть ли другие варианты?