В настоящее время нет такой функции, которая бы делала это из коробки, но вы можете написать собственный код в DAG, чтобы обойти это. Например, используйте PythonOperator (вы можете использовать оператор MySQL, если ваша база метаданных - mysql), чтобы получить статус последних X выполнений для dag.
используйте BranchPythonOperator, чтобы узнать, больше ли число, чем X, и затем использовать BashOperator для запуска airflow pause dag cli.
Вы также можете просто сделать это двухэтапной задачей, добавив логику PythonOperator в BranchPythonOperator. Это просто идея, вы можете использовать другую логику.