Как мы можем развернуть изменения схемы и таблицы как часть нашего рабочего процесса Airflow? - PullRequest
Новая
       16

Как мы можем развернуть изменения схемы и таблицы как часть нашего рабочего процесса Airflow?

0 голосов
/ 09 июля 2019

Мы периодически создаем новые группы обеспечения доступности баз данных, которые, в свою очередь, требуют новой схемы и таблиц в Redshift.В настоящее время мы вручную создаем эти схемы и их таблицы посредством прямого взаимодействия с Redshift.Это явно не идеально.Мы хотели бы автоматизировать этот процесс и в идеале внедрить его в наш рабочий процесс при создании новых групп доступности баз данных.

Как мы можем сделать это с помощью Airflow?

1 Ответ

1 голос
/ 09 июля 2019

Чтобы соответствовать вашим требованиям, у меня есть идея:

  • Используя Redshift JDBC, напишите несколько скриптов для выполнения запросов на любых языках, которые вам удобны.
  • Создание новогоAirflow Dags и скрипт вышеупомянутого, возможно, с использованием BashOperator, PythonOperator
  • О скриптах миграции вы можете свободно ими управлять.Возможно, sql-файлы или файлы миграции, управляемые любыми фреймворками.
...