Ребята, есть ли какие-либо рекомендуемые для структуры папок / каталогов Composer?То, как он должен быть структурирован, отличается от того, как сейчас используется наш внутренний сервер Airflow.
На основе документации Google: https://cloud.google.com/composer/docs/concepts/cloud-storage:
plugins/
: хранит ваши пользовательскиеплагины, операторы, перехваты dags/
: хранить теги и любые данные, необходимые веб-серверу для анализа тега. data/
: хранит данные, которые задачи создают и используют.
Это пример того, как я организовал мою папку dags:
Раньше у меня возникали проблемы, когда я помещал файл key.json в папку data/
, и разметки нельзя анализировать с помощью ключей в папке data/
.Так что теперь я склонен помещать все файлы поддержки в папку dags/
.
Повлияет ли производительность планировщика, если я помещу поддерживаемые файлы (sql, keys, schema) для dag в dags/
папка?Есть ли хороший пример использования папки data/
?
Было бы полезно, если бы вы, ребята, могли показать мне пример того, как структурировать папку composer для поддержки нескольких проектов с различными пакетами, плагинами и поддерживаемымифайлы.
На данный момент у нас есть только 1 Github для всей папки Airflow.Лучше иметь отдельный проект для каждого проекта?
Спасибо!