Внедрение Postgres Sql в Apache Airflow - PullRequest
Новая
       32

Внедрение Postgres Sql в Apache Airflow

0 голосов
/ 14 октября 2019

У меня Apache-Airflow реализован на сервере Ubuntu версии 18.04.3. Когда я его настраивал, я использовал общую базу данных sql lite, а для этого используется последовательный исполнитель. Я сделал это просто, чтобы поиграть и привыкнуть к системе. Теперь я пытаюсь использовать Local Executor, и мне нужно будет перевести мою базу данных из sqlite в рекомендуемый postgres sql.

Кто-нибудь знает, как сделать этот переход? Все учебники, которые я нашел, влекут за собой настройку Airflow с Postgres SQL с самого начала. Я знаю, что есть тонна движущихся частей, и я боюсь испортить то, что у меня сейчас работает. Любой, кто знает, как это сделать или может указать мне, где искать, очень ценится. Спасибо!

1 Ответ

0 голосов
/ 15 октября 2019

Мне удалось заставить его работать, выполнив следующие 4 шага:

  1. Предполагая, что вы начинаете с нуля, инициализируйте среду воздушного потока с базой данных SQLite. Здесь необходимо взять файл airflow.cfg.
  2. Обновите строку sql_alchemy_conn в airflow.cfg, чтобы она указала на ваш сервер PostgreSQL.
  3. Создайте airflow роль + база данных в PostgreSQL. (Отмените все разрешения из общедоступной базы данных воздушного потока и убедитесь, что роль воздушного потока владеет базой данных воздушного потока!)
  4. (Re) Инициализируйте воздушный поток (airflow initdb) и убедитесь, что вы видите ~ 19 таблиц в базе данных airflow.
...