Запуск воздушного потока с указанием неверного -sd или -SUBDIRECTORY - PullRequest
0 голосов
/ 26 сентября 2018

У меня каждый день запускается процесс Airflow со многими DAGS.Сегодня неожиданно ни один из DAGS не может быть запущен, потому что когда Airflow вызывает airflow run, он неправильно указывает каталог -sd, чтобы найти DAG.

Вот пример:

[2018-09-26 15:18:10,406] {base_task_runner.py:115} INFO - Running: ['bash', '-c', 'airflow run daily_execution dag1 2018-09-26T13:17:50.511269 --job_id 1 --raw -sd DAGS_FOLDER/newfoldernewfolder/dags/all_dags.py']

Как вы можете видеть, сразу после -sd подкаталог дважды повторяет новую папку, когда он должен указывать только DAGS_FOLDER/newfolder/dags/all_dags.py.

Я попытался запустить группу обеспечения доступности баз данных с теми же файлами, что и два дня назад (когдавсе было правильно) но я получаю ту же ошибку.Я предполагаю, что что-то изменилось в конфигурации Airflow, но я не знаю никаких изменений в airflow.cfg.Я управлял только пользовательским интерфейсом, и airflow run вызывался автоматически после включения DAG.

У кого-нибудь есть идеи, где airflow run может получить этот каталог и как я могу его обновить?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...