Как составить список всех невыполненных задач в Airflow, используя Data Profiling -> Ad Hoc Query

Question

У меня есть DAG, которая запускается каждые 4 часа в день.Каждый день первый прогон дня заканчивается неудачей, а остальные прогоны проходят успешно.Недавнее задание дает мне все задание как выполненное.Но когда я щелкаю группу DAG, я вижу первый день прогона как неудачный в древовидном представлении.

Как я могу получить список всех неудачных прогонов / задач для конкретного DAG из Data Profiling, какЯ не хочу ничего менять в производственной среде.

Answer 1

Перейдите к Профилирование данных -> Adhoc Query -> airflow_Db и затем выполните следующий запрос:

 Select * from task_instance where state="failed" && dag_id="your_dag_id"

Это будетперечислите все задачи этого конкретного dag_id , который не выполнен.

Если вы хотите, чтобы все task_id конкретного dag_id , который не удался, выполните следующий запрос:

 Select * from task_instance where state="failed" && dag_id="your_dag_id" && task_id="your_task_id"

Wellтак же, как вы можете выполнить любой запрос, вы можете увидеть все поля, которые есть в task_instance, запросив select * from task_instance