Я попытался создать DAG с 400 задачами (например, каждая из которых запускает вызывающий удаленный сервер спарк для обработки отдельного файла данных в s3 ... ничего общего с mysql), и airflow (v1.10.3) сделал следующее для следующего 15 минут:
- процессор остался на 99%
- не обрабатывает новые запросы на вход в систему или ssh
моя машина (амазон линукс)
- веб-сервер воздушного потока перестал отвечать .. только
дал 504 ошибки
- Запущено 130 одновременных подключений к mysql RDS
(поток метаданных)
- держал мои задачи в запланированном состоянии
В конце концов я переключился на другой экземпляр ec2, но получил тот же результат ...
Я использую LocalExecutor на одной машине (16 процессоров).
Примечание: для группы DAG с 30 задачами она работает нормально.