Когда оценивается определение метки воздушного потока? - PullRequest
Новая
       5

Когда оценивается определение метки воздушного потока?

1 голос
/ 26 октября 2019

Предположим, у меня есть файл dag воздушного потока, который создает график, подобный так ... 

def get_current_info(filename)
    current_info = {}
    <fill in info in current_info relevant for today's date for given file>
    return current_info

files = [
    get_current_info("file_001"),
    get_current_info("file_002"),
    ....
]

for f in files:
    <some BashOperator bo1 using f's current info dict>
    <some BashOperator bo2 using f's current info dict>
    ....

    bo1 >> bo2
    ....

Поскольку эти значения в dict current_info, который используется для периодического определения изменения dag (здесь, ежедневно),Я хотел бы знать, по какому процессу / графику обновляется определение dag. (Я печатаю значения current_info при каждом запуске, и кажется, что значения обновляются, но мне любопытно, как и когда именно это происходит).

Когда оценивается определение dag воздушного потока? где-нибудь в документах есть ссылки?

1 Ответ

1 голос
/ 29 октября 2019

DAG оцениваются при каждом запуске планировщика.

В этой статье описывается, как работает планировщик и на каком этапе файлы DAG выбираются для оценки.

...