Как установить пакеты в Airflow? - PullRequest
Новая
       12

Как установить пакеты в Airflow?

0 голосов
/ 29 октября 2019

Я развернул dag в Airflow (на GCP), но получаю сообщение об ошибке «Нет модуля с именем« scipy »». Как установить пакеты в Airflow?

Я попытался добавить отдельную группу обеспечения доступности баз данных для запуска 

def pip_install(package):
    subprocess.call([sys.executable, "-m", "pip", "install", package])


def update_packages(**kwargs):
    logging.info(list(sys.modules.keys()))
    for package in PACKAGES:
        pip_install(package)

Я пытался написать pip3 install scipy на оболочке GCP;

Я пытался добавить pip install scipy в конструктор изображений.

Ни один из этих подходов не дал результата.

1 Ответ

1 голос
/ 30 октября 2019

Если вы используете Cloud Composer на GCP, вы должны проверить https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies

Передать файл requirements.txt в инструмент командной строки gcloud. Отформатируйте файл, указав каждый спецификатор требований в отдельной строке.

Образец файла needs.txt: 

scipy>=0.13.3
scikit-learn
nltk[machine_learning]

Передайте файл requirements.txt команде gcloud, чтобы задать зависимости для установки. 

gcloud composer environments update ENVIRONMENT-NAME \\
--update-pypi-packages-from-file requirements.txt \\
--location LOCATION
...