Dag-скрипты в потоке воздуха

Question

Я написал сценарии Dag в потоке воздуха для функций в моих сценариях Python. Например, в сценарии Dag я импортировал сценарий Python как «из импорта data_extractor *». Я создал рабочий процесс для функций в data_extractor.py в сценарии dag воздушного потока data_extractor_dag.py . Но когда я делаю какие-либо изменения кода в data_extractor.py dag data_extractor_dag.py воздушного потокане удается загрузить. В этом сценарии страница пользовательского интерфейса воздушного потока также не загружается. Как лучше использовать воздушный поток в этом сценарии.

Answer 1

Насколько я могу судить, у вас есть некоторый библиотечный код в data_extractor.py и ваше определение dag в data_extractor_dag.py.Когда вы редактируете код в data_extractor.py, изменения не появляются в вашем теге.Это правильно?

С помощью Airflow и веб-сервер, и планировщик регулярно обновляют свой обзор пакетов.Когда он делает это, он ищет файлы python, которые содержат dags, и импортирует их.Это работает нормально и принимает изменения, если весь ваш код содержится в файле определения dag.Но если вы редактируете существующий библиотечный файл или файл, импортированный как плагин Airflow, то вам необходимо перезапустить планировщик и веб-сервер, чтобы получить какие-либо изменения.

Без перезапуска Airflow вы должны ожидатьошибка, если ваш код DAG импортирует что-то новое из уже существующей библиотеки (поскольку библиотека не будет обновлена).