apache airflow определяет данные для всех скриптов в папке DAG

Question

У меня есть данные, такие как настройки подключения Amazon S3 и т. Д., Которые имеют отношение ко многим файлам .py в моей папке DAG.

Я знаю, что default_args используется всеми DAGS вКонкретный файл .py Мой вопрос заключается в том, как определить данные, которые будут доступны для ВСЕХ .py файлов в моей папке DAG?

Представьте, что мне нужно изменить детали подключения S3 ..Я не хочу просматривать все файлы и менять их один за другим.Я хочу изменить его только в одном месте.

Поддерживает ли Airflow это?

Answer 1

Это именно тот случай использования модели Connection.Вместо передачи конфиденциальной информации, а именно учетных данных, вы создаете запись Connection, в которой эта информация хранится от вашего имени и на которую вы указываете строку.

Вы можете узнать о них здесь .