Я использую Airflow на Kubenetes, у которого есть два узла с CeleryExecutor.
У меня есть две очереди по одной для каждого узла.
Но когда я использую queue='new_queue' в параметре Operator, задача застряла и никогда не будет выполнена.
Сообщение об ошибке
All dependencies are met but the task instance is not running. In most cases this just means that the task will probably be scheduled soon unless:
- The scheduler is down or under heavy load
- The following configuration values may be limiting the number of queueable processes: parallelism, `dag_concurrency`, `max_active_dag_runs_per_dag`, `non_pooled_task_slot_count`
Я не знаю, что не так, я проверил на Flower, и они показывают рабочих на обоих узлах.
Моя рабочая команда запуска: airflow worker -q new_queue