Какое практическое ограничение на количество DAGS в системе воздушного потока?
Мы наблюдаем серьезные задержки после создания нескольких сотен DAGS.
Кто-нибудь использует 1000-е DAGS?
Это зависит от того, как вы запускаете Airflow и сколько ресурсов вы его предоставляете. Вы можете запустить Airflow в распределенном режиме с Celery, Master и Worker с большим объемом памяти и vCores, если у вас огромное количество задач.