У меня каждый день запускается процесс Airflow со многими DAGS.Сегодня неожиданно ни один из DAGS не может быть запущен, потому что когда Airflow вызывает airflow run
, он неправильно указывает каталог -sd, чтобы найти DAG.
Вот пример:
[2018-09-26 15:18:10,406] {base_task_runner.py:115} INFO - Running: ['bash', '-c', 'airflow run daily_execution dag1 2018-09-26T13:17:50.511269 --job_id 1 --raw -sd DAGS_FOLDER/newfoldernewfolder/dags/all_dags.py']
Как вы можете видеть, сразу после -sd
подкаталог дважды повторяет новую папку, когда он должен указывать только DAGS_FOLDER/newfolder/dags/all_dags.py
.
Я попытался запустить группу обеспечения доступности баз данных с теми же файлами, что и два дня назад (когдавсе было правильно) но я получаю ту же ошибку.Я предполагаю, что что-то изменилось в конфигурации Airflow, но я не знаю никаких изменений в airflow.cfg
.Я управлял только пользовательским интерфейсом, и airflow run
вызывался автоматически после включения DAG.
У кого-нибудь есть идеи, где airflow run
может получить этот каталог и как я могу его обновить?