Azure Среда ML: установить пакет из файла?

Question

Я создаю объект Environment в службе машинного обучения Azure с помощью Python SDK, и все работает нормально , кроме одного пакета Python, который устанавливается с URL-адреса. Интересно, как с этим бороться. Это работает:

my_env = Environment.from_conda_specification("trident", './environment.yml')

.. но сборка Docker не работает в одном из пакетов, который устанавливается из файла.

[91mERROR: Не удалось найти версию который удовлетворяет требованию detectron2 == 0.1.3 + cu101 (из -r /azureml-environment-setup/condaenv.s5fi23rw.requirements.txt (строка 7)) (из версий: нет) [0m [91mERROR: Соответствующий дистрибутив не найден для detectron2 == 0.1.3 + cu101 (из -r /azureml-environment-setup/condaenv.s5fi23rw.requirements.txt (строка 7)) [0m [91m

Вот как я бы установил этот пакет вручную:

python -m pip install detectron2 -f / https://dl.fbaipublicfiles.com/detectron2/wheels/cu101/torch1.5/index.html

, и у меня есть еще один пакет, который следует установить с github, например:

pip install -U 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

Я довольно не разбираюсь в файлах yaml: есть ли способ включить такой сложный синтаксис в файл yaml?

Я надеюсь, что мне не придется перестраивать среду локально и устанавливать из нее (что является альтернативным вариантом), потому что мне придется переустанавливать CUDA, чтобы сделай так.

Спасибо

Answer 1

Вот файл YAML, который я использую для загрузки Detectron2 в контейнер для AzureML

FROM mcr.microsoft.com/azureml/base-gpu:openmpi3.1.2-cuda10.1-cudnn7-ubuntu18.04

RUN apt update && apt install git -y && rm -rf /var/lib/apt/lists/*

RUN /opt/miniconda/bin/conda update -n base -c defaults conda
RUN /opt/miniconda/bin/conda install -y cython=0.29.15 numpy=1.18.1

# Install cocoapi, required for drawing bounding boxes
RUN git clone https://github.com/cocodataset/cocoapi.git && cd cocoapi/PythonAPI && python setup.py build_ext install

RUN pip install --user tensorboard cython
RUN pip install --user torch==1.5+cu101 torchvision==0.6+cu101 -f https://download.pytorch.org/whl/torch_stable.html

RUN pip install azureml-defaults
RUN pip install azureml-dataprep[fuse]
RUN pip install pandas pyarrow
RUN pip install opencv-python-headless
RUN pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu101/index.html```