В нашем проекте у нас есть несколько контейнеров worker docker и отдельные контейнеры docker для компонентов Airflow (планировщик, веб-сервер, цветок). Поскольку у нас нет постоянного ресурса памяти в контейнерах, нам нужно иметь внешнюю папку DAG и периодически синхронизировать ее с контейнерами. Насколько мне известно, в текущей версии Airflow такой конфигурации нет. Одним из вариантов может быть репозиторий Github, в котором будут храниться DAG и периодически извлекаться из контейнеров. Однако, поскольку этот метод должен иметь бесконечный процесс, работающий в фоновом режиме контейнера, я думаю, что это не идеальный вариант (не уверен на 100%).
Я хотел бы спросить вас, есть ли у вас другой вариант или идеи для Эта проблема. Как я могу добиться наилучших результатов. Мое разрешение с Github может быть лучшим, но, пожалуйста, дайте мне знать, если у вас есть технические подробности, как это сделать.
Спасибо!