Airflow использует SequentialExecutor, несмотря на установку executor на LocalExecutor в airflow.cfg - PullRequest
Новая
       1

Airflow использует SequentialExecutor, несмотря на установку executor на LocalExecutor в airflow.cfg

0 голосов
/ 07 января 2020

У меня проблемы с тем, чтобы заставить LocalExecutor работать.

Я создал базу данных postgres с именем airflow и предоставил все привилегии пользователю воздушного потока. Наконец, я обновил свой файл airflow.cfg: 

# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor, DaskExecutor, KubernetesExecutor
executor = LocalExecutor 

# The SqlAlchemy connection string to the metadata database.
# SqlAlchemy supports many different database engine, more information
# their website
sql_alchemy_conn = postgresql+psycopg2://airflow:[MY_PASSWORD]@localhost:5432/airflow

Затем я запустил: 

airflow initdb
airflow scheduler
airflow webserver

Я думал, что это работает, но я заметил, что мои дагс долго заканчивали sh. После дальнейшей проверки моих файлов журнала я заметил, что они говорят, что Airflow использует SequentialExecutor. 

INFO - Job 319: Subtask create_task_send_email [2020-01-07 12:00:16,997] {__init__.py:51} INFO - Using executor SequentialExecutor

Кто-нибудь знает, что может быть причиной этого?

...