Как Composer / Airflow пропустить датчики времени автоматически, когда мы делаем обратную засыпку?

Question

Кто-нибудь знает, как сделать обратную засыпку для Airflow DAG?

Я пытаюсь создать обратную базу данных для DAG за 1-2 месяца назад, но когда я использовал приведенную ниже команду, каждый раз, когда мне нужно отметить успехом датчик сенсора. Это не имеет никакого смысла. 1. У кого-нибудь есть хорошее предложение?

gcloud composer environments run leo-stage-bi --location=europe-west1 backfill -- player_daily_balance_type_snapshot    -s 20190222      -e 20190401 -t  bq_daily_type_snapshot_malta  --reset_dagruns

Answer 1

Как вы можете видеть в справке , есть несколько необязательных аргументов, которые могут вам помочь. Вы можете попробовать использовать флаг -m (--mark_success)

Пометить задания как успешные без их запуска

По умолчанию: False

Пожалуйста, дайте я знаю, поможет ли это вам

Answer 2

После непродолжительного расследования, что мне был найден способ пропустить датчики времени!

  -i, --ignore_dependencies 

Исходящие задачи, запускайте только задачи, соответствующие регулярному выражению. Работает только в сочетании с task_regex

По умолчанию: False

Ссылки: https://airflow.apache.org/docs/stable/cli.html