Python - Как настроить поток воздуха, чтобы запускаться два раза в день

Question

благодаря моим недавним исследованиям я понял, что schedule_interval для воздушного потока имеет некоторые причуды, и я сделал все возможное, чтобы попытаться объяснить, как это может повлиять на то, что я делаю, но не совсемудалось разобраться.

Я использую эти аргументы по умолчанию:

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2019, 1, 12),
    'email': ['email@domain.com'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 0,
    'retry_delay': timedelta(minutes=5),
    'schedule_interval': '0 0,12 * * *'
}

, и я хотел бы, чтобы DAG запускалась в полночь и в полдень.

В настоящее время этоработает только в полночь, и я не могу понять, почему.Я запускаю это в Google Cloud Composer, если это что-то меняет.

* edit - исправлена ​​опечатка

Answer 1

Я бы использовал выражение cron «каждый двенадцатый час», а не «на наших 0 и 12».Как вы, вероятно, прочитали, Airflow работает, создавая интервалы и планируя задачи в конце каждого интервала.Интервалы создаются путем добавления периода, описанного выражением cron, к начальной дате Dag.

Попробуйте 'schedule_interval': '0 */12 * * *', оно будет работать так же, как ваше выражение, поскольку ваша дата начала в полночь.