Я хотел бы создать конвейер данных и использовать Airflow.
Некоторая информация о проекте:
Все задачи (входные параметры) заранее сохраняется в базе данных с помощью скрипта.
Я хочу запустить конвейер вручную. Затем все задачи извлекаются из базы данных и сохраняются в очереди. Каждая задача состоит из 3 зависимых задач, которые должны быть обработаны шаг за шагом. Для каждой подзадачи заранее создается контейнер с информацией о количестве процессоров и необходимой памяти. В зависимости от размера кластера отдельные задачи обрабатываются параллельно. Масштабирование должно организовываться автоматически в зависимости от ресурсов кластера.
Может ли эта концепция быть реализована, как описано, или существует более простое решение?
Thx Markus