Настройка соединения fs_default в Airflow - PullRequest
0 голосов
/ 25 марта 2020

Я хотел бы настроить fs_default соединение Airflow, в основном, чтобы убедиться, что пути всегда будут разрешаться из одной и той же начальной точки (root моего каталога / хранилища).

Я установил до моего воздушного потока домой с export AIRFLOW_HOME=./airflow_home. Поэтому у меня есть каталог airflow_home в root моего проекта.

И затем я помещаю это в свой airflow.cfg:

[core]

# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository. This path must be absolute.
dags_folder = ./airflow_home/dags

fs_default_conn = ./airflow_home/../

# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = ./airflow_home/logs

Я сделал airflow resetdb, а затем по airflow initdb, а затем запустил веб-сервер (и планировщик). Я вошел в Admin> Connection, чтобы проверить, были ли мои изменения учтены, но, видимо, нет. Соединение fs_default все еще имеет это в поле Extras:

{"path": "/"}

Есть идеи, как это сделать?

1 Ответ

0 голосов
/ 26 марта 2020

Вам необходимо будет создать соединение с помощью Airflow UI / CLI или переменной среды. Он не будет работать, добавив его в файл airflow.cfg.

Проверьте https://airflow.apache.org/docs/stable/howto/connection/index.html#creating -a-connection-with-the-ui о том, как создать соединение.

...