Соединение исчезает, когда я вращаю воздушный поток docker, а затем раскручиваю его - PullRequest
Новая
       7

Соединение исчезает, когда я вращаю воздушный поток docker, а затем раскручиваю его

0 голосов
/ 27 марта 2020

Я новичок в airflow и docker, однако я смог заставить работать свою первую группу DAG, используя соединение, созданное с помощью пользовательского интерфейса веб-серверов airflow. Соединение - это просто имя пользователя и пароль, использующие аутентификацию basi c, чтобы иметь возможность вызывать конечную точку API с использованием request.get.

Затем я устанавливаю переменные следующим образом.

USERNAME = BaseHook.get_connection ('my_conn_id'). Login
PASSWORD = BaseHook.get_connection ('my_conn_id'). Password

enter image description here

Когда я вращаюсь вниз / вверх по потоку воздуха / docker мое соединение, которое я создал, исчезает, и мой DAG разрывается.

Опять я очень новичок во всем этом и прочитал тонну документации, но не могу понять, как преодолеть это.

Моя конечная цель - сохранить эти новые подключения навсегда, чтобы мне не приходилось каждый раз создавать их заново .

Я ценю любую помощь!

1 Ответ

1 голос
/ 28 марта 2020

Проблема в том, что вы, вероятно, не сопоставляете тома postgres. Это означает, что вам нужно сохранить данные на хост-компьютере, чтобы сопоставить папку вашего хост-компьютера с вашим docker контейнером.

Как я вижу, вы используете docker compose, вы можете черпайте вдохновение из этого:

https://github.com/puckel/docker-airflow/blob/master/docker-compose-CeleryExecutor.yml

Вам необходимо раскомментировать некоторые строки (настройки переменных окружения и отображение тома), как указано: 

    # Uncomment these lines to persist data on the local filesystem.
    #     - PGDATA=/var/lib/postgresql/data/pgdata
    # volumes:
    #     - ./pgdata:/var/lib/postgresql/data/pgdata

Надеюсь, это было полезно

...