Airflow / Composer рекомендуемая структура папок - PullRequest
0 голосов
/ 26 сентября 2018

Ребята, есть ли какие-либо рекомендуемые для структуры папок / каталогов Composer?То, как он должен быть структурирован, отличается от того, как сейчас используется наш внутренний сервер Airflow.

На основе документации Google: https://cloud.google.com/composer/docs/concepts/cloud-storage:

  • plugins/: хранит ваши пользовательскиеплагины, операторы, перехваты
  • dags/: хранить теги и любые данные, необходимые веб-серверу для анализа тега.
  • data/: хранит данные, которые задачи создают и используют.

Это пример того, как я организовал мою папку dags: dags-structure

Раньше у меня возникали проблемы, когда я помещал файл key.json в папку data/, и разметки нельзя анализировать с помощью ключей в папке data/.Так что теперь я склонен помещать все файлы поддержки в папку dags/.

Повлияет ли производительность планировщика, если я помещу поддерживаемые файлы (sql, keys, schema) для dag в dags/ папка?Есть ли хороший пример использования папки data/?

Было бы полезно, если бы вы, ребята, могли показать мне пример того, как структурировать папку composer для поддержки нескольких проектов с различными пакетами, плагинами и поддерживаемымифайлы.

На данный момент у нас есть только 1 Github для всей папки Airflow.Лучше иметь отдельный проект для каждого проекта?

Спасибо!

1 Ответ

0 голосов
/ 14 ноября 2018

Влияние на планировщик должно быть довольно минимальным, если файлы, которые вы помещаете в папку dags, не являются файлами .py;однако вы также можете поместить файлы в папку плагинов, которая также синхронизируется с помощью копирования.

Я бы использовал папки верхнего уровня для разделения проектов (например, dags/projectA/dagA.py) или даже отдельных сред, если проектыдостаточно большой.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...