Параметр «параллелизм» воздушного потока в dag не соответствует

Question

Я создаю динамический dag с настраиваемым числом исполнителей.

Параметр «параллелизма», указанный в dag, не согласован, так как это не всегда порождает столько параллельных задач.

В файле airflow.cfg есть:

parallelism = 32

dag_concurrency = 16

любые идеи, почему это может работать не так, как есть, или любые другие настройки, которые мне нужно изменить.Пожалуйста, предложите.

Спасибо

Answer 1

В потоке воздуха для выполнения нескольких одновременных задач в dag вы должны установить параллелизм при создании экземпляра dag, и он должен быть больше одного.

dag = DAG(dag_id=DAG_ID, default_args=default_args, max_active_runs=1,
concurrency=4, schedule_interval='@daily'

)

А также длязапустить несколько задач в Dag, вы должны настроить executor как LocalExecutor / CeleryExecutor.

Answer 2

Вы можете установить параллелизм при создании экземпляра dag:

dag = DAG(dag_id, default_args=default_args, schedule_interval=None, max_active_runs=1, concurrency=1)