* Stateless Apache Airflow Service - PullRequest
Новая
       16

* Stateless Apache Airflow Service

0 голосов
/ 20 февраля 2020

Я искал во многих статьях и официальной документации Apache Воздушный поток и успешно настроил вещи для использования локального экземпляра postgres для метаданных службы. До сих пор я не могу понять, можно ли определить Apache DAG воздушного потока в моей базе данных, а не в папке относительно расположения папки воздушного потока.

Моя цель - развернуть службу Airflow без сохранения состояния с Cloud Foun dry, и поэтому я не могу полагаться на файлы конфигурации DAG, хранящиеся на машине. Есть ли способ развернуть Airflow в Cloud Foun dry таким образом, чтобы файлы конфигурации DAG динамически извлекались из удаленной базы данных?

1 Ответ

0 голосов
/ 20 февраля 2020

Вы можете использовать Сериализация DAG . Однако у него есть ограничения:

Ограничения

Веб-серверу по-прежнему потребуется доступ к файлам DAG в следующих случаях, поэтому мы сказали «почти» без сохранения состояния .

  • На вкладке Rendered Template все равно придется анализировать файл Python, так как для этого требуются все детали, такие как дата выполнения и даже данные, переданные задачей верхнего уровня с помощью Xcom.

  • Представление кода прочитает файл DAG и покажет его с помощью фрагментов. Однако анализировать файл Python не требуется, поэтому это все еще небольшая операция.

...