Airflow DAG работает, но задачи не выполняются - PullRequest
2 голосов
/ 15 апреля 2019

Я использую Airflow 1.10.2, разветвленный из популярного изображения докера воздушного потока puckel , и использую CLI для его работы, читая документацию .Я создал группу обеспечения доступности баз данных, которая успешно выполняется, когда я запускаю ее через пользовательский интерфейс.Но когда я использую командную строку для запуска DAG, статус DAG становится RUNNING, но задачи никогда не выполняются.

Для ссылок на изображения ниже, идентификатор DAG равен xcom_4_modules_ver_5

После запуска группы обеспечения доступности баз данных через запланированный процесс и ручного запуска через интерфейс пользователя, я выполнил airflow list_dag_runs xcom_4_modules_ver_5 в CLI, чтобы проверить состояние запуска группы доступности базы данных.Группа обеспечения доступности баз данных была успешно выполнена и записала ожидаемый результат в файл журнала.Это соответствует ID 1 и 2.

enter image description here

Однако после выполнения команды airflow trigger_dag -sd /usr/local/airflow/airflow/dags/ -r CLI-RUN-TEST xcom_4_modules_ver_5 для запуска DAG из пользовательского интерфейса состояние навсегдаБЕГ.Соответствует идентификатору 3 на изображении ниже.

enter image description here

Я обратился к древовидному представлению в пользовательском интерфейсе, чтобы понять, что ни один компонент не выполнялся очень долго.

enter image description here

Первые два зеленых столбца соответствуют идентификаторам прогонов 1 и 2, тогда как третий столбец соответствует идентификатору прогонов 3.

airflow scheduler и airflow webserver включены.

Запросили бы здесь мастера воздушного потока, чтобы предложить мне это.

...