В ADFv1 у нас может быть зависимость уровня конвейера, и каждый из этих конвейеров может иметь свой собственный график выполнения.
Например, скажем, у меня есть дневной конвейер p1, и у него есть выходной набор данных d1.
Затем у нас есть другой месячный конвейер p2, который использует d1 в качестве входного набора данных и производит ежемесячный выходной набор данных d2.
Как мы можем создать что-то подобное в ADFv2 ?
Я знаю, что мы выполнили работу конвейера, поэтому у нас мог быть один мастер
Трубопровод с 2-мя действиями в конвейере
действия могут в свою очередь вызвать p1 и p2, но тогда проблема заключается в
что главный конвейер будет иметь только один триггер TumblingWindow
выполняется один раз в день. В этом случае оба p1 & p2 будут выполняться один раз за
день - но это не то, что я хочу.
Трубопровод p2 должен быть ежемесячным, в зависимости от дневного трубопровода p1.
Как это сделать в ADFv2 ?