На самом деле мы делаем это, чтобы периодически очищать logs
таблицу вместе с некоторыми другими общими действиями Airflow. Недостатки не так уж и плохи, если вы сначала протестировали свой код в другом месте, и вы не запускаете процесс по очень короткому графику.
Я бы рекомендовал вам прочитать модуль и классы airflow.models
, а также то, как они используются, и вы используете их в качестве примеров для своего процесса; это поможет убедиться, что вы все делаете правильно, и избавит вас от ненужного дублирования.