Я пытаюсь использовать apache-airflow
, и я хотел бы изучить Docker
для запуска задачи в контейнере.
Моя текущая установка воздушного потока находится в выделенном виртуальном режиме, и воздушный поток автоматически перезапускается с помощью systemd .
У меня уже есть несколько проектов, которыми я хочу заняться Airflow. У каждого проекта должен быть свой даг. Я хотел бы, чтобы dag проекта был написан с помощью PythonOperator
и запускался внутри контейнера docker с изображением, которое я ранее создал со всеми правильными зависимостями.
Это может гарантировать, что зависимости кода будут изолированы между каждым проектом.
Возможно ли это каким-то образом?