Изменение зависимостей задачи с помощью пользовательского интерфейса в apache воздушном потоке - PullRequest
Новая
       136

Изменение зависимостей задачи с помощью пользовательского интерфейса в apache воздушном потоке

5 голосов
/ 03 августа 2020

Есть ли способ установить зависимость задач от самого пользовательского интерфейса вместо того, чтобы определять ее в файле DAG. Я знаю, что мы можем установить зависимости , например task1 >> task2 >> task3. Но могу ли я сделать то же самое, используя localhost webserver UI.

1 Ответ

1 голос
/ 03 августа 2020

[Q] Поддерживает ли Airflow встроенную поддержку редактирования DAG на основе пользовательского интерфейса?

[A] Нет

[Q] Можно ли добиться того же «эффекта»?

[A] Да

Если вы готовите DAG-builder код, который (скажем) анализирует JSON / YAML, хранящийся в Airflow Variable (который содержит информацию о том, какие DAG s, operator s создать и как связать их вместе) для генерации DAG s, а затем, отредактировав эти Variable s (из самого UI), вы сможете изменить структуру своего DAG

Некоторые хорошие ссылки:

[Q] Следует ли это сделать (рекомендуемая практика)?

[A] Пока группы DAG, которые вы создаете таким образом, неизменяемый (их структура не меняется то и дело), ​​это нормально. И хотя было бы заманчиво иметь динамически изменяющуюся структуру (звучит очень круто / мощно), на мой взгляд, этого следует избегать, поскольку это поставит под угрозу работоспособность системы (система станет трудно рассуждать, возможность отладки будет повреждена)

Далее читается

...