Как равномерно распределить выполнение групп DAG в течение дня

Question

У меня огромное количество DAGS (>> 100.000), которые должны запускаться каждый раз в день.Чтобы в определенный день в течение дня (и по другим причинам) не было больших скачков обработки, я бы хотел, чтобы фактические прогоны DAG распределялись равномерно в течение дня.Нужно ли делать это программно, самостоятельно распределяя start_date в течение дня, или есть лучший способ, когда Airflow делает это для меня?

Answer 1

Одно возможное решение: если вы создаете один или несколько пулов, каждый с ограниченным числом слотов, вы можете эффективно установить «максимальный параллелизм» выполнения, и задачи будут ждать, пока слот не станет доступным.Однако, это может не дать вам достаточно гибкости, которая вам нужна