Я хочу использовать Python Fabric с моим пользовательским оператором, как мне установить fabric на рабочих?

Question

На данный момент я думаю о вызове команды bash pip install fabric2 каждый раз, когда мой оператор выполняется, но это не выглядит хорошей идеей.

Answer 1

Создайте аналогичный requirements.txt файл и передайте его как переменную при создании среды облачного композитора.

Пример файла requirements.txt:

scipy>=0.13.3
scikit-learn
nltk[machine_learning]

Передайте файл requirements.txtна команду environments.set-python-dependencies для установки зависимостей установки.

gcloud beta composer environments update ENVIRONMENT_NAME \
--update-pypi-packages-from-file requirements.txt \
--location LOCATION

Answer 2

Оказывается, вы можете использовать: PythonVirtualenvOperator он поддерживает pip deps.

Другой вариант, который доступен для пользователей Composer, - это установить deps через самого композитора: https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies