Зависимости воздушного потока перезаписывают друг друга

Question

Я новичок в воздушном потоке (v1.10).У меня есть два пакета, каждый из которых требует одинаковых зависимостей, но с разными версиями.Как я могу убедиться, что мои зависимости не будут перезаписывать друг друга (например, dag1.py требует helper.py из версии v1, а dag2.py требует helper.py из версии v2)?

Answer 1

В общем, я вижу два возможных решения вашей проблемы:

1. Воздушный поток имеет PythonVirtualEnvOperator , который позволяет запускать задачу в virtualenv, который получаетсоздается и уничтожается автоматически.Вы можете передать python_version и список требований для задачи по созданию виртуальной среды.
2. Настройте реестр Docker и используйте DockerOperator вместоPythonOperator.Это позволило бы командам создавать собственные образы Docker с конкретными требованиями.(Предложено dlamblin)