получить статистику времени выполнения dag

Question

Я пытаюсь экспортировать статистику dag из Airflow. вывод statsd не очень полезен, поэтому я решил запустить dag, чтобы запросить SQL и экспортировать его, чтобы сказать effxdb.

, поэтому достаточно просто создать группу обеспечения доступности баз данных для запроса базы данных о потоке воздуха postgres. однако, я немного озадачен схемой. я бы подумал:

select run_id, start_date, end_date from dag_run where dag_id= 'blah';

сделает это, но конец end_date никогда не будет заполнен.

все, что мне действительно нужно, - это общее время, с которого запускается запуск дамба (когда первое задание запускается, а не когда задание впервые переводится в состояние running), и время, когда даг переходил в success Штат.

Answer 1

Попробуйте нажать на стол task_instance:

  SELECT  execution_date
       ,  MIN(start_date) AS start
       ,  MAX(end_date) AS end
       ,  MAX(end_date) - MIN(start_date) AS duration
    FROM  task_instance
   WHERE  dag_id = 'blah'
     AND  state = 'success'
GROUP BY  execution_date
ORDER BY  execution_date DESC