Задачи Python и группы DAG с различными средами conda

Question

Скажите, что большинство моих групп обеспечения доступности баз данных и задач в AirFlow должны запускать код Python на той же машине , что и сервер AirFlow.

Могу ли я иметь разные DAG использовать разные среды conda ?Если да, то как мне это сделать?Например, могу ли я использовать Python Operator для этого?Или это ограничит меня в использовании той же среды conda, которую я использовал для установки AirFlow.

В более общем плане, где / как в идеале я должен активировать желаемую среда conda для каждой группы доступности или задачи?

Answer 1

Python, на котором выполняется код Airflow Worker, - это среда, среда которой будет использоваться для выполнения кода.

Что вы можете сделать, это иметь отдельные именованные очереди для отдельных среды выполнения для разных рабочих , так что определенная группа доступности базы данных будет выполнять только конкретный компьютер или группу компьютеров.