Пулы Apache Airflow: использованные слоты> доступные слоты - PullRequest
0 голосов
/ 07 ноября 2018

У меня есть 6 подзадач. Каждый из них содержит задачу с pool='crawler', которая требует много ресурсов, поэтому я создал пул crawler только с 1 слотом.

Когда я запускаю DAG, кажется, что ограничение пула обойдено, и все шесть задач выполняются одновременно (как вы можете видеть на скриншоте).

Как заставить используемые слоты быть <= доступными слотами?

airflow pools

1 Ответ

0 голосов
/ 08 ноября 2018

Из исходного кода :

Пул воздушных потоков не учитывается SubDagOperator. Следовательно, ресурсы могут быть потребленным SubdagOperators

...