API статистики продолжительности вытягивания в Airflow

Question

В потоке воздуха диаграмма «Ганта» предлагает довольно хороший взгляд на выполнение запущенных задач. Он предлагает такие характеристики, как время начала / окончания, продолжительность и т. Д.

Ребята, вы знаете, как программно получить эту статистику через API Airflow? Я хотел бы использовать эту статистику и генерировать периодические отчеты о выполнении моих задач и о том, как они меняются со временем.

Моя версия воздушного потока: 1.9 Python: 3.6.3 Работает поверх докера

Спасибо! Kelvin

Электронная документация по воздушному потоку

Answer 1

Согласно документации , Airflow может отправлять метрики в формате StatsD, включая

dag.<dag_id>.<task_id>.duration - секунды, затраченные на выполнение задачи

К сожалению, я не вижу там ничего подобного метрике времени начала / окончания.

Answer 2

Одним из простых подходов может быть установление соединения с алхимией SQL, воздушный поток сохраняет / отправляет все данные там, как только конфигурация завершена (информация dag / stat / fail, информация о задаче / stats / etc.).

Редактировать airflow.cfg и добавить:

sql_alchemy_conn = mysql://------/table_name