Дерево каталогов файлов DAG воздушного потока не обновляется?

Question

Airflow работает в Google Cloud Composer, версия - 1.10.2- composer.

Я ошибаюсь, загружая файл DAG (tutorial.py) в каталог, например так: tutorial.py/tutorial.py.

Когда я удалил его и загрузил снова. Я увидел информацию об ошибке из журнала стека. я могу это исправить?

PS Мне нужно загрузить tutorial.py с новым именем, например, tutorial_test.py. Но я не хочу делать это так.

Answer 1

Вы столкнулись с этой проблемой, поскольку вы указали в качестве пункта назначения /home/airflow/gcs/dags/tutorial.py. Однако флаг 'destdest 'устанавливает папку назначения, а не файл. В этом случае «/home/airflow/gcs/dags/tutorial.py» - это имя папки. Composer, таким образом, создает путь '/home/airflow/gcs/dags/tutorial.py'.

Следовательно, используйте' --destination ' flag правильным образом.

Когда вы удаляете файлы в папке «/home/airflow/gcs/dags/tutorial.py», эта папка одновременно удаляется в GCS автоматически, поскольку она становится пустой, поэтому вы больше не можете получить доступ к этой папке , Вторая команда помещает файл 'tutorial.py' в папку '/home/airflow/gcs/dags/'.

Пожалуйста, обратитесь к этому Publi c Issue Tracker для получения дополнительной информации ссылки.