Какую структуру проекта лучше всего использовать при разработке для воздушного потока?

Question

Я сейчас разрабатываю DAG для Airflow. Мне нравится использовать PyCharm и я склонен раскручивать виртуальную среду для каждого из моих проектов.

Воздушный поток зависит от папки AIRFLOW_HOME, которая устанавливается во время установки. Затем подкаталоги создаются в этой папке с помощью Airflow.

Меня интересует, как другие структурируют свои проекты, чтобы учесть виртуальные среды, содержащие пакеты (например, facebookads), необходимые для получения данных, и в то же время легко помещать группы DAG в папку Airflow DAGS для тестирования.

Answer 1

В своих проектах я использую:

- config
  - config_1.yaml
  - config_1.env
- DAGs
  - dag_1.py
     -dag_1_etl_1.sql
     -dag_1_etl_2.sql
     -dag_1_etl_3.sql
     -dag_1_bash_1.sh
  - dag_2.py
  - dag_3.py
- operators
  - operator_1.py
  - operator_2.py
  - operator_3.py
- hooks
  - hooks_1.py

Для нашего варианта использования: 1) Каждый объект, который можно использовать повторно, мы храним в отдельной папке с таким же типом объекта;

2) Каждый DAG в терминах SQL должен быть автономным, чтобы избежать не отображаемых зависимостей