Исполнитель Kubernetes не распараллеливает выполнение подпрограмм DAG в Airflow - PullRequest
0 голосов
/ 03 сентября 2018

Мы отошли от Celery Executor в Airflow 1.10.0 из-за некоторых ограничений исполнения и сейчас используем KubernetesExecutor.

В настоящее время мы не можем распараллелить все задачи в некоторых группах обеспечения доступности баз данных, даже если мы изменим subdag_operator в коде напрямую: https://github.com/apache/incubator-airflow/blob/v1-10-stable/airflow/operators/subdag_operator.py#L38

Мы ожидаем, что с помощью этих модификаций и с помощью Kubernetes Executors мы сможем выполнять все задачи одновременно, но у нас такое же поведение, как у SequentialExecutor.

Это поведение, которое мы имеем сейчас:

enter image description here

Мы хотели бы выполнить их все одновременно, используя KubernetesExecutor.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...