Как внедрить Canary DAG в Airflow для проверки работоспособности других рабочих мест? - PullRequest
Новая
       36

Как внедрить Canary DAG в Airflow для проверки работоспособности других рабочих мест?

1 голос
/ 01 октября 2019

В моей команде несколько заданий воздушного потока. Часто выполняемые задания планируются и работают должным образом, но редко выполняемые задания не планируются и пропускаются.

В основном я хотел бы создать DAG для проверки работоспособности, чтобы получать уведомления, когда мои задания не запланированы и не выполняются.

1 Ответ

0 голосов
/ 01 октября 2019

Как следует из названия, Canary Dag

  • не должен выполнять какую-либо реальную работу
  • , это всего лишь дурак, бегущий для дачи показанийвремя работы планировщика воздушного потока

Имея в виду вышеуказанные соображения

  • Я думаю DummyOperator (ничего не делать, но простого выполнения задачи достаточно, чтобы дать намподсказка), PythonOperator (print что-то) и BashOperator (echo что-то) являются хорошими претендентами на выполнение задач, которые должны включать в себя Кэнэри-Даг
  • ребята из разбойников говорят, что они пишут ..tasks which perform very simple actions such as establishing database connections..
...