Кластер воздушного потока - папка Worker DAGs указывает на пакет DAG машин планировщика - PullRequest
0 голосов
/ 07 мая 2020

Я новичок в Airflow, и мы планируем использовать его на уровне организации для автоматизации (в основном конвейеры извлечения данных).

Я установил кластер воздушного потока с одним сервером и двумя машинами VDI. Использование Airflow 1.10.9, postgres, сельдерея 4.4.0 и redis в качестве брокера сообщений.

Дело в том, что я могу успешно запускать примеры дагов на моем кластере, но при попытке запустить свой собственный даг - он назначается и забирается рабочим компьютером, но затем выходит из строя с сообщением об ошибке «DAG ID не найден. ".

При более внимательном рассмотрении я заметил, что моя рабочая машина, взяв задачу, передает параметр - sd, который указывает на папку dag моей машины / сервера планировщика. 1007

1012 * Я пробовал несколько вещей, но не мог понять проблему. Пожалуйста, не могли бы вы дать предложения.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...