Задачи, не запускающиеся для Airflow, работающего внутри контейнера

Question

Я пытаюсь запустить Airflow в контейнере и использовал доступное изображение здесь .Я обнаружил, что, хотя группа обеспечения доступности баз данных переходит в рабочее состояние (в пользовательском интерфейсе), задачи внутри группы доступности базы данных, похоже, ожидают бесконечно и никогда не запускаются.Учитывая, что некоторые из шагов, приведенных в документации, являются необязательными, я выполнил эти шаги для того, чтобы примеры DAG были запущены и запущены в моем контейнере -

Вытащил изображение из dockerhub

docker pull puckel/docker-airflow

Триггерный поток воздуха с настройками по умолчанию, который должен запускаться с помощью Sequential Executor

docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow

Я относительно новичок в настройке потока воздуха и докеров, хотя у меня естьработал над Airflow в прошлом.Таким образом, вполне возможно, что я упускаю что-то очень простое здесь, так как никто другой, кажется, не сталкивается с той же проблемой.Любая помощь будет принята с благодарностью.

Answer 1

Последовательный исполнитель не является планировщиком, поэтому он запускает только задания, созданные вручную, из пользовательского интерфейса или команды запуска.Определенные виды задач не будут выполняться в последовательном исполнителе, я думаю, что его SubdagOperators не будет.Хотя, честно говоря, он должен собирать фиктивные, bash или python задачи, вы можете сэкономить время на его выяснение, если вы запустите планировщик и локального исполнителя и db.У Puckel есть пример составного файла Docker, https://github.com/puckel/docker-airflow