Папка Airflow Dag - Как игнорировать контрольные точки ноутбука - PullRequest
0 голосов
/ 07 декабря 2018

Воздушный поток слишком умен и пытается собрать даг в папке контрольных точек ноутбука jupyter "dags / .ipynb_checkpoints /", которая выдает ошибку.

Есть ли способ настроить воздушный поток, чтобы игнорировать папкиопределенный шаблон?как я бы .gitignore?

Спасибо

Ответы [ 2 ]

0 голосов
/ 08 декабря 2018

Вы можете создать .airflowignore в папке dags:

.ipynb_checkpoints

Из документов :

A .airflowignore указывает каталоги или файлыв DAG_FOLDER, который Airflow должен намеренно игнорировать.Каждая строка в .airflowignore указывает шаблон регулярного выражения, и каталоги или файлы, чьи имена (не идентификаторы DAG) соответствуют любому из шаблонов, будут игнорироваться (под капотом re.findall() используется для соответствия шаблону).В целом он работает как файл .gitignore. Файл

.airflowignore должен быть помещен в ваш DAG_FOLDER.Например, вы можете подготовить файл .airflowignore с содержанием

project_a
tenant_[\d]

. Тогда файлы типа project_a_dag_1.py, TESTING_project_a.py, tenant_1.py, project_a/dag_1.py и tenant_1/dag_1.py в вашем DAG_FOLDER будутигнорируется (Если имя каталога совпадает с любым из шаблонов, этот каталог и все его подпапки вообще не будут сканироваться Airflow. Это повышает эффективность поиска DAG).

Область действия .airflowignore файлакаталог, в котором он находится, плюс все его подпапки.Вы также можете подготовить файл .airflowignore для подпапки в DAG_FOLDER, и он будет применим только для этой подпапки.

0 голосов
/ 07 декабря 2018

Поместите файл с именем .airflowignore в каталог, который Airflow будет игнорировать.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...