Мы отошли от Celery Executor в Airflow 1.10.0 из-за некоторых ограничений исполнения и сейчас используем KubernetesExecutor
.
В настоящее время мы не можем распараллелить все задачи в некоторых группах обеспечения доступности баз данных, даже если мы изменим subdag_operator
в коде напрямую: https://github.com/apache/incubator-airflow/blob/v1-10-stable/airflow/operators/subdag_operator.py#L38
Мы ожидаем, что с помощью этих модификаций и с помощью Kubernetes Executors мы сможем выполнять все задачи одновременно, но у нас такое же поведение, как у SequentialExecutor
.
Это поведение, которое мы имеем сейчас:
Мы хотели бы выполнить их все одновременно, используя KubernetesExecutor
.