Я пытаюсь построить конвейер обработки данных с Луиджи.
Поскольку у меня нет предыдущего опыта ни в Luigi, ни в построении конвейера обработки данных, я здесь, чтобы спросить, возможно ли реализовать рабочий процесс с Luigi (или любым другим пакетом) следующим образом:
Task1 -> Task2 -> Task3 -> ... -> TaskN
Task1 -> Task2 -> ... -> TaskN
Task1 -> ... -> TaskN
Я хочу реализовать такой конвейер, потому что частью Задачи является externalTask, сценарий оболочки, который требует много ресурсов памяти, поэтому, если запускать их все одновременно, это может вызвать проблемы с памятью (насколько я понимаю),
Поэтому я думаю, что разрешается запускать только одну из таких задач одновременно (как показано на приведенном выше графике, предположим, что Task1 - это внешняя программа), но я не хочу ждать, пока закончится полное преобразование, иначать новый ход (я не хочу ждать, когда первый проход закончил TaskN, а затем начать второй проход).
Спасибо за любой совет и извините за плохое объяснение.