Потоковые события Airflow в очередь сообщений

Question

Моя цель - легко экспортировать события из Airflow в другие системы. Один из вариантов - создать плагин, который может получать доступ к внутреннему состоянию Airflow и предоставлять его через API Rest (есть некоторые существующие реализации), но меня больше беспокоит то, можно ли подключиться к журналу событий Airflow и транслировать его сообщение во внешнюю очередь сообщений (например, Kafka, PubSub, Kinesis).

Answer 1

Самый простой способ, который я мог бы себе представить, - это использовать декоратор sqlalchemy.event.listens_for, подключенный к различным моделям Airflow, и отфильтровывать события модели, которые вы хотите перенести в очередь сообщений.

Вы можете сделать это в модуле airflow_local_settings, чтобы он автоматически загружался при запуске. Затем поместите некоторые дополнительные значения конфигурации в файл airflow.cfg, которые управляют настройками удаленной очереди сообщений.