Я новичок в Airflow. И я пытаюсь создать тепловую карту, используя matplotlib, и отобразить ее как пункт меню в пользовательском интерфейсе Airflow. Просто хотел спросить, сработают ли эти шаги.
- получить данные, необходимые для тепловой карты, используя Mysqloperator из базы данных.
- использовать воздушный поток PythonOperator для вызова функции python (функция python будет использовать пакет python для matplotlib для создания тепловой карты, как в ссылке
https://matplotlib.org/gallery/images_contours_and_fields/image_annotated_heatmap.html
), который может использовать данные на шаге 1 для создания тепловой карты. Также есть опция для передачи файла .sql в качестве аргумента PythonOperator.
- Отображение тепловой карты как элемента меню (путем помещения файла python, который импортирует вышеперечисленные операторы, в папку $ AIRFLOW_HOME / plugins).
- Обновлять карту тепла каждые 5 минут (нужно это выяснить)
Пожалуйста, дайте мне знать, если кто-нибудь пробовал что-то подобное.